好 优化 基础 理论 与 方法 
E 燕 军 。” 梁 治安 编著 


博学 .数学 系列 
人 仿 


人 类 的 文明 进步 和 社会 发 展 ， 无 时 无 刻 不 受 到 数学 的 恩惠 和 影响 ， 数 
学 科学 的 应 用 和 发 展 牢 固 地 黄 定 了 它 作 为 整个 科学 技术 乃至 许多 人 文学 科 
的 基础 的 地 位 。 当今 时 代 ， 数 学 正 突破 传统 的 应 用 范围 向 几乎 所 有 的 人 类 
知识 领域 渗透 ， 它 和 其 他 学 科 的 交互 作用 空前 活跃 ， 越 来 越 直接 地 为 人 类 
物质 生产 与 日 常生 活 作出 贡献 ， 也 成 为 其 掌握 者 打开 众多 机 会 大 门 的 钥匙 ， 


最 优化 方法 是 面向 计算 数学 、 应 用 数学 、 运 筹 学 与 控制 论 、 经 济 、 人 金融 
等 专业 的 研究 生 或 高 年 级 本 科 生 的 一 门 课程 ， 它 对 学 生 的 思维 能 力 的 培养 、 
陪 明 智 莫 的 启迪 以 及 创造 能 力 的 开发 ,都 起 着 一 定 的 作用 . 随 着 科学 技术 的 日 
益 进 步 和 现代 化 生产 的 日 益 发 展 ， 最 优化 方法 已 成 为 现代 管理 科学 的 重要 理 
论 基础 和 不 可 缺少 的 方法 ， 正 被 人 们 广泛 地 应 用 到 公共 管理 、 经 济 管理 、 国 
防 等 各 个 领域 ， 发 挥 荐 越 来 越 重要 的 作用 .让 学 生 热 悉 且 能 够 运用 最 优化 的 
基本 理论 和 方法 去 解决 多 种 优化 问题 ,也 是 最 优化 方法 教学 和 教材 编写 的 一 
个 重 炎 目的 ， 


本 教材 系统 地 介绍 了 最 优化 基础 理论 与 方法 . 书 中 介绍 了 无 约束 优化 
问题 的 最 优 性 条 件 及 其 相应 的 求解 方法 ,包括 最 速 下 降 法 、Newton 法 、 遇 
入 梯 度 法 等 ， 对 于 约束 优化 问题 ,介绍 了 最 优 性 条 件 及 求解 一 次 规划 的 算 
法 和 求解 一 般 非 线性 规划 的 罚 函 数 法 ， 对 于 几何 规划 和 多 目标 规划 , 节 中 
也 作 了 简要 介绍 . 本 书 配 有 和 较 丰富 的 应 用 实例 ,使 学 生 能 更 好 地 理解 相关 
理论 在 实际 问题 中 的 运用 . 
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本 书 对 非 线性 最 优化 的 理论 、 算 法 及 
相关 技术 做 了 比较 系统 的 介绍 .在 内 容 的 选 : 
取 方面 ， 尽 可 能 避免 过 分 复杂 的 理论 分 析 ， 上: 
以 适应 不 同 专业 、 不 同 层次 技术 人 员 对 最 ; 


优化 技术 的 需求 .另外 ， 也 尽 可 能 地 增加 一 : 


些 数值 例子 或 经 济 管理 方面 的 应 用 实例 .全 
书 共 分 7 章 . 第 一 章 主要 介绍 最 优化 的 基础 
理论 ， 第 二 章 介绍 无 约束 最 优化 问题 的 最 
优 性 条 件 以 及 线性 搜索 技术 ， 第 三 章 主要 
介绍 无 约束 最 优化 算法 ， 主 要 有 最 速 下 降 法 、 
Newton 法 、 共 示 梯度 法 ， 第 四 章 主要 讨论 
约束 优化 问题 的 最 优 性 条 件 ， 第 五 章 介绍 : 
二 次 规划 的 求解 算法 ， 第 六 章 介绍 一 般 非 
线性 约束 最 优化 问题 的 罚 函数 法 ， 第 七 章 
给 出 两 种 特殊 规划 : 几何 规划 和 多 目标 规划 
并 给 出 一 些 应 用 实例 . 

本 书 可 作为 高 等 院 校 计 算数 学 、 应 用 
数学 、 工 程 、 经 济 、 金 融 等 各 专业 的 教材 ， 
也 可 供 有 关 工 程 技术 人 员 和 研究 人 员 参 考 . 


最 优化 问题 是 在 有 限 种 或 无 限 种 可 行 方案 (决策 ) 中 选择 最 优 的 方案 ( 决 
策 ) , 它 是 数学 的 一 个 重要 的 分 支 . 自 20 世纪 50 年 代 后 , 随 着 实际 生产 的 需要 和 
计算 机 的 发 展 ,逐渐 形成 了 最 优化 理论 ,以 及 相应 的 求解 方法 一 一 最 优化 方法 . 
目前 这 些 方法 已 经 在 工农 业 、 国 防 、 交 通 经济、 金融 能源 、 通 信 等 众多 领域 中 得 
到 了 广泛 的 应 用 . 最 优化 技术 已 经 成 为 大 多 数 专业 领域 必修 或 选修 的 基本 技术 

本 书 旨 在 对 非 线 性 光滑 最 优化 的 基础 理论 和 方法 作 一 个 比较 全 面 的 介绍 . 
作为 财经 类 院 校 的 教材 ,在 内 容 的 选取 方面 , 尽 可 能 避免 过 分 复杂 的 理论 分 析 ， 
以 适应 不 同 专业 \ 不 同 层次 的 技术 人 员 对 最 优化 技术 的 需求 . 某 些 定理 的 证 明 或 
理论 分 析 仅 在 于 论证 所 述 方法 的 基本 特性 ,对 此 不 感 兴趣 的 读者 只 需 了 解 有 关 
结论 ,而 略 去 烦琐 的 证 明 ; 但 对 于 从 事理 论 研究 与 进行 方法 设计 的 读者 来 说 ,这 
些 理论 分 析 是 相当 重要 而 又 富 于 启发 性 的 . 另外 ,在 本 书 中 也 尽力 增加 了 一 些 应 
用 实例 . 

全 书 共 分 7 章 . 第 一 章 主要 介绍 最 优化 相关 的 基础 理论 ;第 二 章 介绍 无 约束 
优化 问题 的 最 优 性 条 件 以 及 线性 搜索 技术 ;第 三 章 主要 介绍 无 约束 最 优化 算法 ， 
主要 有 最 速 下 降 法 `Newton 法 \ 共 轿 梯 度 法 ;第 四 章 主要 讨论 约束 优化 问题 的 
最 优 性 条 件 ;第 五 章 介 绍 了 二 次 规划 的 求解 算法 ;第 六 章 介绍 了 一 般 非 线性 约束 
最 优化 问题 的 罚 函 数 法 ;第 七 章 给 出 了 两 种 特殊 规划 :几何 规划 和 多 目标 规划 ， 
并 给 出 了 一 些 应 用 实例 . 

本 书 可 作为 计算 数学 、 应 用 数学 、 工 程 、 经 济 、 金 融 等 各 专业 高 年 级 本 科 生 或 
研究 生 的 教学 用 书 或 辅导 用 书 ,也 可 供 从 事 优化 方面 的 科技 工作 者 和 工程 技术 
人 员 学 习 和 参考 . 

限于 作者 水 平 ,可 能 在 内 容 的 取材 ,结构 的 编排 以 及 课程 的 讲法 上 存在 不 妥 
之 处 , 敬 请 广大 读者 对 书 中 的 不 妥 与 错误 之 处 批评 指正 ! 
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第 一 章 最 优化 基础 


在 实际 生活 和 许多 学 科 中 ,我 们 总 是 会 遇 到 最 优化 问题 . 读者 在 学 习 初 等 数 
学 时 已 经 开始 解 一 些 最 优化 问题 ,如 在 周 长 一 定 的 给 形 中 ,正方 形 的 面积 受 大 . 
用 初等 数学 的 方法 即 可 证 明 这 个 优化 问题 ,或 者 在 学 了 高 等 数学 后 ,也 可 以 用 
Lagrange 缮 子 的 方法 证 明 这 个 问题 . 本 章 将 介绍 最 优化 的 一 般 模 型 和 分 类 ， 并 
介绍 最 优化 理论 和 方法 涉及 的 一 些微 积分 和 代数 的 基础 知识 . 


§1.1 最 优化 问题 的 分 类 与 应 用 实例 


最 优化 问题 数学 模型 的 一 般 形式 为 


min f(x); 

Sst, c(x)=0,i€EE= {|{1,2,..…,/}, 
c(x) 0,i€E T= {+1, 1+2, ,Ll+ml, 
xER". 


这 里 min 表示 求 极 小 值 ; s. t. 是 subject to 的 意思 ,表示 受 限制 于 …; x 是 n 维 
向 量 , 其 分 量 是 zx ，…, z,. 在 问题 (1. 1. 1) 中 称 F(x) 为 目标 函数 (objective 
function) , 称 c(x) (i€ EU 了 ) 为 约束 函数 (constraint functions). 若 求 极 大 
值 , 可 以 将 目标 函数 写成 min( 一 f(x)), 不 等 式 约束 ci(x) 宇 0 可 以 写成 
—c(x) <o0. 
若 记 集合 
D= |x|c(x)=0,i€ E;c(x)<0,i€ lI,xE R"}, 


则 称 DD 为 问题 (1. 1. 1) 的 可 行 域 , 若 x E D, 则 称 * 为 可 行 点 . 

下 面 我 们 对 最 优化 问题 (1. 1. 1) 进 行 简单 的 分 类 . 

(1) 根据 可 行 域 DD 划 分 : 若 D = R", 即 x 是 自由 变量 , 则 称 问题 (1.1.1) 为 
无 约束 优化 问题 ;否则 , D C R", 称 问题 (1. 1. 1 ) 为 约束 优化 问题 . 

(2) 根据 函数 的 性 质 划分 : 若 目标 函数 和 约束 函数 都 是 线性 的 , 则 称 问题 


(1 
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(1. 1. 1) 为 线性 规划 ; 若 目 标 函 数 和 约束 函数 中 至 少 有 一 个 是 非 线性 的 , 则 称 问 
题 (1. 1. 1 ) 为 非 线性 规划 . 进一步 , 若 目标 函数 是 二 次 函数 , ci(x) (i 二 1,…， 
L 十 m) 是 线性 函数 , 则 称 问题 (1. 1. 1) 为 二 次 规划 . 

(3) 根据 可 行 域 的 性 质 划分 : 若 可 行 域内 点 的 个 数 是 有 限 的 , 则 称 问 题 
(1.1.1) 为 离散 最 优化 问题 ; 若 可 行 域 含有 无 穷 多 个 点 , 且 可 行 域内 的 点 可 以 连 
续 变化 , 则 称 (1. 1. 1 ) 为 连续 最 优化 问题 . 对 于 离散 优化 问题 , 若 变量 均 为 整数 ， 
则 称 其 为 整数 规划 问题 ; 若 部 分 变量 为 整数 ,而 另 一 部 分 变量 连续 变化 , 则 称 其 
为 混合 整数 规划 问题 . 

(4) 根据 函数 的 向 量 性 质 划分 : 若 目 标 函数 为 向 量 函 数 , 则 称 问 题 (1. 1. 1 ) 为 
多 目标 规划 问题 ;车 目标 函数 为 数量 函数 , 则 称 问题 (1. 1. 1) 为 单 目标 规划 问题 . 

(5) 根据 规划 问题 有 关 信息 的 确定 性 划分 : 若 目标 函数 或 约束 函数 具有 随 
机 性 ,也 就 是 问题 的 表述 形式 随时 间 的 变化 而 变化 ,具有 不 确定 性 , 则 这 样 的 优 
化 问题 称 为 随机 规划 ;如 果 优化 问题 的 变量 (函数 ) 具 有 模糊 性 , 则 这 样 的 优化 问 
题 称 为 模糊 规划 ;如 果 目 标 函数 和 可 行 域 都 是 确定 的 , 则 这 样 的 规划 问题 称 为 确 
定性 规划 问题 . 本 书 讨论 确定 性 规划 问题 . 

为 了 进一步 说 明 最 优化 问题 ,下面 我 们 举 一 些 优化 问题 实例 . 

例 1.1.1 组 合 投资 问题 . 

假设 有 一 笔 资金 a 亿 元 ,准备 投资 于 x 种 证 券 . 已 知 第 i 种 证 券 的 期 望 收益 
率 为 ,证 券 收 益 率 之 间 的 协 方差 矩阵 为 4. 假设 投资 到 各 种 证 券 的 资金 向 量 为 
二 |Z Xs，…， Zr,1"( 称 为 投资 组 合 Portfolio), 且 期 望 收益 不 低 于 事先 指定 
的 数 xo， 如何 根 据 Markowitz 的 投资 组 合理 论 ,建立 最 优化 模型 . 

解 ” 这 项 投资 的 风险 是 V(x) = x*TAr ,期 望 收益 是 R(x) = iz 十 rszs 十 … 
十 mzw 我 们 有 如 下 最 优化 数学 模型 , 即 投资 组 合 模型 ; 


minV(x) = xT4xi; 


St nntrzt +rzr, ro, 


Dz =a, zi 宕 0,i=1,.,n. 
i 


例 1.1.2 投资 问题 . 

假定 国家 的 下 一 个 五 年 计划 内 用 于 发 展 某 种 工业 的 总 投资 为 5 亿 元 ,可 供 
选择 兴建 的 项 目 共有 个 .已 知 第 j 个 项 目的 投资 为 a; 亿 元 ,可 得 收益 为 G 亿 
元 , 问 :应 如 何 进行 投资 才能 使 全 利率 ( 即 单位 投资 可 得 到 的 收益 ) 为 最 高 ? 

解 ” 令 决策 变量 为 x;, 则 zi 应 满足 条 件 


zi(z; —1) = 0. 
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可 


时 二 应 满足 约束 条 件 > wz, 过 b. 目标 函数 是 要 求 盈利 率 


flz1, ma) 一 一 一 


达到 最 大 . 这 是 一 个 整数 规划 问题 . 

例 1.1.3 厂址 选择 问题 . 

设 有 个 市 场 ,第 j 个 市 场 位 置 为 (p,, 9 ), 它 对 某 种 货物 的 需要 量 为 
(i = 1,，…，,n). 现 计划 建立 m 个 仓库 ,第 i 个 仓库 的 存储 容量 为 ai(i = 1,…， 
如)， 试 确定 仓库 的 位 置 ,使 各 仓库 对 各 市 场 的 运输 量 与 路 程 乘积 之 和 为 最 小 . 

解 ” 设 第 ;个 仓库 的 位 置 为 (z，y) (i 二 1,…, m), 第 i 个 仓库 到 第 j 个 
市 场 的 货物 供应 量 为 zy (i = 1，…， mi 了 一 1,…, n), 则 第 i 个 仓库 到 第 j 个 
市 场 的 距离 为 

dy =V(z— pi) +(y —g), 


Da = 


约束 条 件 如 下 : 
(1) 每 个 仓库 向 各 市 场 提供 的 货物 量 之 和 不 能 超过 它 的 存储 容量 ; 
(2) 每 个 市 场 从 各 仓库 得 到 的 货物 量 之 和 应 等 于 它 的 需要 量 ; 
(3) 运输 量 不 能 为 负数 . 
因此 ,问题 的 数学 模型 为 


目标 函数 为 
> DD VE DTT Tay, 


It f=1 


min f(x) = Boa = >) Dz Vz pF gg) 
{A 


i=1 j=1 


hh Dz a, i=1,.,m, 
Dz =6, j=1,.,n, 
0, i=1, ,mj = 1, ,nn 


例 1.1.4 曲线 拟 合 问题 . 
在 科学 实验 工程 设计 和 管理 工作 中 ,经 常会 遇 到 下 述 问题 :通过 实验 或 实 
测 得 到 = 组 数据 (#，y%) ,它们 可 视 为 平面 上 的 ”个 点 ,期 望 确定 一 组 参数 x 一 
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(zi，…， xm)" ,使 曲线 y = $(x, 1) 最 佳 逼近 这 个 点 . 通常 把 这 一 问题 归结 为 
如 下 的 优化 问题 : , 
min f(x) = PD [gx 二) 一 


设 x" 为 问题 的 最 优 解 , 则 y = #$(x*" ,zt) 即 为 通过 最 小 二 乘法 对 ”组 数据 
(#， yi) 的 拟 合 曲线 . 

例 1.1.5 运输 问题 . 

设 有 V(m’ ) 的 砂 \ 石 要 由 甲 地 运输 到 乙 地 ,运输 前 需要 先 装 入 一 个 有 底 无 盖 
并 在 底部 有 滑行 器 的 木 箱 中 , 砂 \ 石 运 到 乙 地 后 ,从 箱 中 倒 出 ,再 继续 用 空 箱 装运 ， 
不 论 箱子 大 小 ,每 装运 一 箱 , 需 0. 1 元 ,箱底 和 两 端的 材料 费 为 每 平方 米 20 元 , 箱 
子 两 侧 材 料 费 为 每 平方 米 5 元 ,箱底 的 两 个 滑行 器 与 箱子 同 长 ,材料 费 为 每 米 2. 5 
元 , 问 : 木 箱 的 长 、 宽 、 高 应 各 为 多 少 米 , 才 能 使 运费 与 箱子 的 成 本 费 的 总 和 为 最 小 ? 

解 ” 设 木 箱 的 长 、 宽 、 高 分 别 为 = ，zz ，zs ,运费 与 成 本 费 的 总 和 为 ww, 则 上 
述 问 题 可 归结 为 如 下 的 优化 模型 : 


人 w(x) = 2 + 20z zs 十 10zrirs 十 40rars + S71; 
1 


st. Zz>0,i=1,2,3. 


在 此 问题 中 , 若 要 求 箱子 底 与 两 侧 使 用 废料 来 做 ,而 废料 只 有 4 m? ,其 他 与 
上 述 问题 相同 , 则 这 时 间 题 归结 为 
0.1V 


并 1T2I3 


min ww(x) = 十 40zrzzs 十 5zi; 


了 过 寺 ziz + 二 zz 之 1， 
T0127 


§ 1.2 线性 代数 知识 


在 考虑 最 优化 问题 时 ,需要 用 到 点 列 和 极限 的 概念 ,而 点 是 代数 中 线性 空间 
的 元 素 ,极限 又 依赖 于 点 与 点 之 间 的 距离 ,距离 是 欧 氏 空间 的 概念 ,所 以 矩阵 是 
一 种 工具 ,在 最 优化 问题 的 表述 和 求解 过 程 中 自然 是 必 不 可 少 的 . 下 面 重点 介绍 
这 3 个 概念 . 

1. 线性 空间 

设 V 是 一 个 非 空 集合 ,R. 是 实数 域 ,在 V 上 定义 加 法 , 即 对 任意 x, y € V， 
存在 唯一 的 元 素 zE Y 与 它们 对 应 , 记 作 z 一 x 十 ?， 称 为 x 与 ? 的 和 ;对 于 任意 
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4 € R 和 任意 x € V, 存在 唯一 的 元 素 了 E 了 与 它们 对 应 , 记 作 了 一 Mr , 称 为 》 
与 x 的 数量 乘法 . 若 对 任意 x, ?,zE V 和 任意 的 1, y € RR, 两 种 运算 满足 下 面 
8 个 条 件 : 
(Dxt+y™= y+xs 
(2) (x+y)+z=x+(y+z); 
(3) 存在 一 个 元 素 , 记 作 0, 称 为 零 元 ,使 得 0 十 x 一 23 
(4) 存在 一 x EV, 称 为 x 的 负 元 ,使 得 x 十 (一 x) = 0; 
(5) lx = x; 
(6) A(px) = (Me)xi 
(7) G+ = tyr; 
(8) AMz 十 了 ) 一 Mx 十 17; 
则 称 Y 为 R 上 的 线性 空间 ,其 中 V 的 元 素 x 称 为 向 量 . 
通常 我 们 考虑 的 线性 空间 是 n 维 ( 列 ) 向 量 空间 R", 记 x 维 列 向 量 为 
T(z1, Ze, 0 
车 x, 是 线性 空间 R" 中 的 两 个 向 量 ,通常 的 加 法 定义 为 
x+y= (z+, zs ys x + y,)", 
若 4 是 一 个 标量 ,通常 的 数 乘 定 义 为 
jz = (M1, Mes, Ara)". 
设 @, G2,，…, Qn 为 R" 中 m 个 向 量 , 称 
T= 十 .+ 
为 gai ，…, an 的 线性 组 合 . 
如 果 存 在 不 全 为 零 的 hi(i = 1, 2，…，, m)，, 使 得 
Nam 十 … 十 Mon 一 0， 
则 称 mw ，w ，…，anw 线性 相关 ,否则 称 a ，a: ，…,a。 线性 无 关 , 也 就 是 说 , 若 
Ma 十 … 十 MG。 = 0, 
则 必 有 3: 一 0 (i = 1,…, m). 
如 果 线 性 空间 R" 的 一 个 非 空子 集 W 对 于 R" 的 加 法 和 数 乘 运算 世 构 成 一 
个 线性 空间 , 则 称 它 为 R" 的 子 空间 . 如 果 m ,a ,…, a, EW 线性 无 关 , 而 WW 
中 的 任何 向 量 均 可 以 表示 成 它们 的 线性 组 合 , 则 m ，m ，…，av 称 为 W 的 一 组 
基 , 且 WW= fos 十 lzmz 十 … 十 Mnas | 42， An E Ri 若 zER' 则 称 
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十 WW 为 R" 的 仿 射 集 . 

2. Euclid 空间 ( 欧 氏 空间 ) 

所 谓 欧 氏 空间 ,就 是 在 线性 空间 上 定义 一 个 度量 . 对 于 = 维 欧 氏 空间 ( 记 为 
R") ,向 量 x 与 y 的 内 积 定义 为 


(x, y) = Day = x'y. 


由 上 式 , 容 易 得 到 内 积 具 有 如 下 性 质 : 
(1) (x, x) 之 0, 且 (x,， x) = 0 的 充分 必要 条 件 是 x = 0; 
(2) (x, 3) = (y, x); 
(3) (Mix +py, 2) = Ax, 2) + p(y, z). 
nn 维 欧 氏 空间 R" 上 的 范 数 定义 为 


Nxl = (Bz) = (x, x))+, 


即 通常 意义 下 的 距离 ,或 称 为 2 范 数 . 
范 数 具 有 如 下 性 质 : 
(1) Dxl 宇 0, 且 xl| = 0 的 充分 必要 条 件 是 x = 0; 
(2) ar = xl; 
(3) 1 xz 十 ?上 入 下 xz 十 上 > 外 (三 角 不 等 式 ) ,以 及 Cauchy-Schwarz 不 等 式 


{x,y {< xl lyl, 
且 等 号 成 立 的 充分 必要 条 件 是 :x 与 y 共 线 , 即 存在 4, 使 得 
x=Ay. 
将 该 不 等 式 写成 分 量 形式 为 


1 Bz ls (Bt Dt. 


Gm dm Om 
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为 m Xn 和 矩阵, 记 为 4 二 Awx。. 实数 域 上 所 有 m Xn 和 矩阵 组 成 的 集合 记 作 R”*". 
对 于 矩阵 4, 可 以 进行 分 块 , 即 

Aun A 

六 ， 

| 

其 中 hu 为 mi Xm 矩阵 ,4): 为 ma Xma 矩阵 ,4 为 ms Xn 矩阵 ,Azz 为 ms Xn 

和 矩阵, 且 mi 十 ms 二 mm, mn 十 nz 二 n. 这 里 特别 提 到 两 种 特殊 的 分 块 矩阵 , 按 列 
分 块 


4= (PP …,P) ,已 =| 2 |， 
和 按 行 分 块 


A= | .|,ar=(an，aa,…，an). 


矩阵 4 的 秩 记 为 rank(4). 当 
rank(4) = min{m， n| 


时 , 称 和 矩阵 4 是 满 秩 的 ,又 若 m 过 n, 则 称 A 为 行 满 秩 ; 若 m 二 n, 则 称 A 为 列 满 
秩 , 若 m = n, 则 矩阵 4 为 n 阶 非 奇异 方 阵 .元 素 ay (i = 1,2,…, mi 了 = 1， 
2，…， 7) 均 为 零 的 m Xn 矩阵 为 零 矩 阵 , 记 为 0. 

方 阵 非 奇异 的 充分 必要 条 件 是 : det(A) 头 0. 

若 4 为 n Xn 矩阵 , 且 A 满足 


AT = A, 
则 称 4 为 对 称 矩 阵 ;车 对 于 一 切 x 关 0, 均 有 

wx > 0, 
则 称 4 为 正定 矩阵 ; 若 对 一 切 x, 均 有 

x'Ax 二 0， 


则 称 4 为 半 正 定 和 矩阵 - 
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81.3 多 元 函数 分 析 


分 析 多 元 函数 在 一 点 附近 的 特性 , 它 在 该 点 处 的 一 阶 微分 和 二 阶 微分 是 两 
个 重要 的 工具 . 它们 在 该 点 处 的 线性 近似 和 二 次 近似 对 于 考虑 这 个 函数 在 该 点 


处 的 最 优 性 条 件 是 非常 有 用 的 . 
定义 1.3.1 设 n 元 函数 f(z) 对 自 变量 x 一 (zi, zx;，…, zx,)" 的 各 分 量 


= 的 偏 导数 28) (; 一 1，…,") 都 存在 , 则 称 函 数 /(x) 在 x 处 一 阶 可 导 ,并 
称 向 量 
VW) = (HE, HR) 
为 函数 f(x) 在 x 处 的 一 阶 导数 或 梯度 , 记 g(x) 一 Vf(x)(g(x) 为 列 向 量 ). 
定义 1.3.2 设 n 元 函数 /(x) 对 自 变 量 x 二 (xi, zs，…, z,)" 的 各 分 量 z 
的 二 阶 偏 导数 2 (i 一 1，…, ni j 一 1，…, ) 都 存在 , 则 称 函 数 (x) 在 点 
* 处 二 阶 可 导 , 并 称 矩阵 


az aziazrz zazv 
9f(x) Ff(x) ... Ff(x) 


Vif(x) = | zzaz azzaz azsaz， 


af(xz) Ff(x) .. Ff(x) 
az 


30az asazz 
为 f(x) 在 x 处 的 二 阶 导 数 或 Hesse 矩阵 , 记 为 Vsr(x) , 即 
Vif(x) = (FA2 名 ) 


EE 
有 了 时 记 为 G(x). 
若 f(x) 对 x 各 变 元 的 所 有 二 阶 偏 导数 都 连续 , 则 
f(x) _ 9 f(x) 
5 一 529zi， 
此 时 V(x) 为 对 称 和 矩阵 . 
例 1.3.1 设 4E R” 为 对 称 和 矩阵 , b € R", c € R, 求 : 
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(1) 线性 函数 f(x) = b™x 的 梯度 和 Hesse 矩阵 ; 
(2) 二 次 函数 f(x) = xTAx 十 bx 十 c 的 梯度 和 Hesse 矩阵. 
解 (1) f(x) = 二 bx 二 Hz 十 bzzz 十 … 十 bsz，， 所 以 


Bf =b, k=1,2,.,n 
EE 


因此 
V(x) = (b, bz, **, 6b.)" = b. 


对 (1. 3.1) 式 再 求 偏 导数 ,得 到 
a hy i ft 


Chk 
因此 得 到 Vf(x) = 0. 
(2) 令 fi(x) 一 xhx, 于 是 


f(x) = xzrhr = DD Dasziz,. 


1 1 


因此 
As SD > 2 
BB (Dr )t Dar +auz:) 
一 > QuaTi 十 > QwTj + ZauTh 
i li jl 
= Daszrit Davz,, k=1,2,.…,n, 
=1 和 1 
和 
of i 
5 一 4 tav, k,l=1,2,.,n, 
所 以 梯度 为 
an az am ] [zx 
vr an = 加 2 只 bn 下 
Qi aa am jz。 
Qn a ai ] {zi 
Qn azz Gzn | | zz 
ao ai2 am) (zs 


(1.3.1) 


(1.3.2) 
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其 Hesse 矩阵 为 


QI a Qanl QI a Qin 
dz ld22 … adn az dz22 don 
VA yo : | (1.3.3) 
Als Qaz2n ”arm Qn Qn2 “0 Qn 
= A'+A. 
因为 4 为 对 称 和 矩阵 , 即 A7 = 4, 所 以 (1. 3. 2) 式 和 (1. 3. 3) 式 可 以 写成 

Vi(x) = 2Ax, 
Vifi(x) = 24. 


因此 
Vf(x) = 2Ax +b, 


Vif(x) = 24. 


定义 1.3.3 设 向 量 函数 F(x) 一 (fi(x)， fi(x),…， fm(x))" 的 各 分 量 
函数 f:(x) (i 二 1,…, m) 对 自 变量 x = (zi, …, z,)" 各 分 量 的 偏 导数 


Ds 
都 存在 , 则 称 F(x) 在 点 * 处 一 阶 可 导 ,并 称 矩 阵 
9fi(x) Ifi(x) ... 3fi(x) 
9zi zz 9zn 
9fa(x) az) .. 3f:(x) 


F(x)= | az zz Bx, 


az) Ifn(x) . az) 


dz zz Zn 
为 向 量 函 数 F(x) 在 x 处 的 Jacobi 矩阵 
例 1.3.2 设 
fi(x) 3Z1 十 ez 
F 到 一 
号 [20] E 二 站 放 | i 


求 F(x) 在 点 二 二 (1, 0, x)" 处 的 Jacobi 矩阵 . 
解 ” 由 定义 1. 3. 3, 可 以 得 到 


ezrz Ts ez ] 


3 
F(x) -2 


2zrzsin zx， zicoszs)” 
代入 到 = (1, 0, x)", 得 


Fa- x :| 


30 0) 


与 导数 相关 的 另 一 个 概念 是 方向 导数 ,n 元 函数 的 方向 导数 在 非 线性 规划 问题 
的 研究 中 具有 非常 重要 的 作用 . 下 面 , 我 们 借助 于 一 元 函数 的 一 阶 和 二 阶 导数 ， 
导出 n 元 函数 的 一 阶 方向 导数 和 二 阶 方向 导数 . 

首先 ,根据 多 元 复合 函数 的 求 导 法 则 ,导出 一 元 函数 


$(a) = f(x+ad),a€E R,x,dER" 


的 一 阶 导数 、 二 阶 导数 . 


令 
u= x+ad = (ztadi, zz 十 ads 十 …， zx, +ad,)T = (Wi, , un,)T, 
则 
ro = afu) du .9f(u) du 
a) gs dat 二 
= 2f(u) A 
i (1.3.4) 
= Vi(u)d 
= Vf(x+ad)'™d, 


(fw) 9f( .9f( 
#(a) = ( ES di + Fa + + La, )a, 


Buz du ~ Guu, 


+ (FADa, + La + + Lda, )a 
十 … 十 


Ff(u) Ff(u) 2 
Ct 
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fu) Pfu) Ff(u) 


Qu Dudu Bmw | 
Ff(u) Fflu) . Ff(u) 
9 村 d: 
一 (dd ds) | us em 
: : | L925) 
d, 


2f(u) Ff(u) . 9:f(u) 


az QunAuz Qu 


= dT Vif(x+ ad)d. 
定义 1.3.4 对 于 任意 给 定 的 4 关 0, 若 极限 


| (元 十 ad ) 一 f(x) 
lm 


存在 , 则 称 该 极限 值 为 函数 f(x) 在 # 处 沿 方向 d 的 一 阶 方向 导数 ,简称 为 方向 导 
数 , 记 为 总/(), 即 


9 pf 1 (x+ad)— /f(x) 
上 9 


如 果 按 上 述 定义 求 方向 导数 的 话 会 相当 烦琐 ,下 面 给 出 方向 导数 的 另 一 种 
表达 式 . 

定理 1.3.1 若 函数 f(x) 具 有 连续 的 一 阶 偏 导 数 , 则 它 在 x 处 沿 方向 d 的 
一 阶 方向 导数 为 


3 (5) = (WD), TI = TT WE (3.7) 
证 明 记 天 一 (五 ,五 ，…， 去)T,d 二 (di,…, d,)", 考虑 单 变量 函数 
#(a) = f(z+ad), 


由 定理 条 件 知 $#(a) 可 微 ,由 (1. 3. 4) 式 可 得 
$(a) = dT V/(F+ad), 
当 a = 二 0 时 ,有 
$(0) = dT Vf(F). (1. 3. 8) 


另 一 方面 ,由 (1. 3. 6) 式 和 (1. 3. 8) 式 可 得 
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a p10) 1 f(s+ad)— f(x) 
24 (Dl old 


1 


= 7 lim 


$(a)— = 


Tal oor 


i 


Nal 


TH VF). 


$'(0) 


方向 导数 的 几何 意义 是 函数 f(x) 在 F 处 沿 4 方向 的 变化 率 . 若 > 0, 则 


沿 着 方向 d 增加 时 ,函数 值 上 升 , 此 时 ,也 称 4 为 上 升 方向 ; 若 站 一 0, 则 称 d 是 


下 降 方向 . 
由 (1. 3.7) 式 和 Cauchy-Schwarz 不 等 式 得 到 
/7) = (VD), TAT) 
<1wal|s| 
= | Wa)l. 
特别 , 当 d = VA(z) 时 ,有 
(7) = (WE), TT) 
= (VD, TET 
= 1 wa). 


结合 上 面 两 式 , 4 = VA() 是 在 处 使 得 方向 导数 达到 最 大 的 方向 , 称 其 为 处 
的 最 速 上 升 方 向 (direction of steepest inrease). 


同 理 ,可 得 药 /(z) >- ‖ Vi(z) | , 当 4 一 一 V(x) 时 ,有 


芳 /(z) = 一 1 WD) ， 


因此 , 称 d 一 一 VF(E) 为 处 的 最 速 下 降 方向 (direction of steepest descent). 
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下 面 介 绍 二 阶 方向 导数 . 
定义 1.3.5 对 于 任意 给 定 的 4 关 0, 若 极 限 


a a 9 ER 
I a/ (+ad)— af (7) 
a allall 
存在 , 则 称 该 极限 值 为 函数 f(x) 在 处 沿 方向 d 的 二 阶 方向 导数 , 记 为 
六 f(), 即 
5 CER 
ee 有 ad/ (*+ad)— 3 (7) 
5 alal 


定理 1.3.2 若 函 数 f(x) 具 有 连续 的 二 阶 偏 导 数 , 则 它 在 5 处 沿 方向 d 的 
二 阶 方向 导数 为 


Df(F) = ld" Vir(E)d 
a Ta 


证 明 ”考虑 单 变量 函数 
g(a) = /( 工 十 ad)， 
由 定理 条 件 及 (1. 3. 5) 式 可 得 
多 (a) = dT Vif(F+ad)d. 
当 a = 二 0 时 ,有 
#(0) = dT Vf(F)d. 
另 一 方面 ,由 定理 1. 3. 1 的 证 明 过 程 ,有 
(7) = 1 TY(0)， 
次/(F+ad) = Tr), 
因此 有 


9 a a 二 
广 a4/ (¥ +ad)— jf (7) 
还 1 本 一 下 aaf 
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岁 (2) 一 风 (0) 
a 


un: 


-Tar 


= Tr TT (0) 


rd Vf(F)d. 


-Tir 


二 阶 方向 导数 的 几何 意义 是 描述 函数 f(x) 在 x 处 沿 方向 d 的 凹凸 性 和 弯曲 
的 程度 . 

严 元 函数 的 Taylor 展开 式 在 非 线性 规划 的 理论 分 析 中 起 着 重要 的 作用 , 关 
于 元 函数 的 Taylor 展开 式 , 有 如 下 定理 . 

定理 1.3.3 (1) 设 函数 f(x): R" 一 R. 若 f(x) 在 点 5 的 某 个 邻 域 N(x) 内 
一 阶 连续 可 微 , 则 存在 gE (0, 1) ,使 得 

f(x) = f(x)+V(F+Ox— x)) (x— x), x E N(F). 
(2) 设 函 数 f(x): R" 一 R. 若 f(x) 在 点 5 的 某 个 邻 域 N(x5) 内 一 阶 连续 可 


微 , 则 
f(x) 一 f(F)+ VF) (一 元) 十 of lx— | ), x € N(F). 


(3) 设 函数 f(x): R" 一 R. 若 /(x) 在 点 5 的 某 个 邻 域 N(x) 内 二 阶 连续 可 
微 , 则 存在 9€ (0， 1) ,使 得 


f(x) = f(F)+ VI(F)T(x— rT)+ 


eT VE+Ox— F))(x—F), x € N(E). (3:9) 


(4) 设 函数 /(x): R" 一 R. 若 f(x) 在 点 F 的 某 个 邻 域 N(x) 内 二 阶 连续 可 
微 , 则 


fx) = f(F)+ VT) (x— 7x)+ 
圭一 Vf)(x—F)+o( x—x)), x € N(z). 
(1. 3.10) 


证 明 ”结论 (1) 和 (2) 贸 给 读者 自己 证 明 , 下 面 证 明 结论 (3) 和 (4). 
(3) 当 x 一 三 时 ,(1.3.9) 式 显然 成 立 ,因此 我 们 仅 考虑 x 天 三 的 情况 . 设 


$a) = f(x+ad), 
其 中 4 一 x 一 三 , 由 一 元 函数 的 Taylor 公式 有 
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$(a) 一 $(0) 十 W(0)a 十 雪 #"(0)a?， 


其 中 0 二 9 二 a. 取 a 二 1, 得 
$(1) 一 #0) 十 W(0) 十 去 #"(0)， 0.3.11) 
显然 上 1) = f(x), $(0) 一 f(x), 由 (1.3.5) 式 和 (1.3.8) 式 知 
#(0) = dT VA(F), 
(0) = dr Vf(x+ od)d. 
将 以 上 各 式 代入 (1. 3. 11) 式 , 便 得 (1. 3. 9) 式 . 


(4) 设 
g(a) = /(F+ad), 
其 中 a= lx 一 x ,a = 下 二 让 ,由 一 一 元 函数 的 Taylor 公式 有 
$(a) = $(0) 十 多 (0)a 十 去 扩 (0)az 十 oa?)， (1.3.12) 
又 有 


$(a) = f(x), $(0) = f(F), 
$(0)a = VI(F)T(x— x), 
才 (0)a = (x— 1)" Vf(F)T (x— 7). 


将 以 上 各 式 代入 (1. 3. 12) 式 , 即 得 (1. 3.10) 式 ， 口 
在 (2) 和 (4) 中 , 若 略 去 高 阶 无 穷 小 量 , 则 有 近似 关系 式 


fx) 7) 十 VH(E)Tx 一 二 ,xxE NO)， 


f(x) ~ f(F) 二 WW(F)T(x 一 十 去 (x 一 二 )7 Vf(z)(x 一 z)， xE NE). 


通常 把 上 面 两 式 的 右边 称 为 函数 f(x) 在 点 x 处 的 线性 近似 (函数 ) 和 二 次 近似 
(函数 ). 


§ 1.4 凸 集 与 凸 函数 


钙 集 与 凸 函数 是 最 优化 方法 理论 分 析 中 较为 重要 的 一 部 分 内 容 ,在 本 节 中 
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我 们 扼要 地 介绍 凸 集 和 凸 函 数 的 定义 和 基本 性 质 . 
定义 1.4.1 设 集合 DCR" ,如 果 对 任意 的 x, ?ED 与 任意 的 a€ [0, 1]， 
有 
ax 十 (1 一 a)7E 了， 
则 称 集合 是 凸 集 (convex set). 
凸 集 的 几何 意义 是 : 若 两 个 点 属于 此 集合 , 则 这 两 点 连 线 上 的 任意 一 点 均 属 
于 此 集合 ( 见 图 1.4. 1). 


人 外 Re 


图 1.4.1 凸 集 与 非 凸 集 


有 关 凸 集 的 性 质 由 下 面 的 定理 给 出 . 

定理 1.4.1 设 D,, D,CR" 是 凸 集 ,aER, 则 

(人 DPnDp=ixzlxeDP,xeD:l 是 凸 集 ; 

(2) aD, = lax | x € Di 上 | 是 凸 集 ; 

(3) Di 十 D: = |x 十 了 |xeD ,yeED:| 是 凸 集 ; 

(4) D, 一 D; =jir 一 ?|xeD,，yED:| 是 凸 集 . 

这 个 定理 的 证 明 可 由 凸 集 的 定义 直接 得 出 , 留 给 读者 作为 练习 . 

定理 1.4.2 DD 是 凸 集 的 充分 必要 条 件 是 :对 任意 的 m 宇 2, 任 给 x，…， 


x"ED 和 实数 a …, am, 生 ai 宇 0 (i= 1,…,m; >3 交 一 1), 均 有 
各 
oz 十 … 十 anx”E DD. 
证 明 当 闫 一 2 时 ,由 凸 集 的 定义 ,命题 显然 成 立 . 
设 m 二 时 命题 成 立 , 即 任 取 x € D, wu 三 0 一 1 2，Ai; 3 hy 


4 
则 有 Blax'€ D. 
各 


当 m=k 十 1 时 , 任 取 x' ED, a 之 0 (i=1, 2,…,k, 十 1; DD 一 1)， 
则 有 加 
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Cal 上 


PD 


: Wy (1.4.1) 
- 安 导 让 | 十 orz 
人 
由 于 加 -名 1, 昌 -名 > 0, 因此 由 归纳 法 假设 有 
2” 名“ 
Px'€D. (1.4.2) 


fF Do 


i=1 


注意 到 六 十 ar， 一 1, 由 (1L.4.D) 趟 和 (1.4.2) 趟 及 四 集 的 定义 ,得 到 


名 or €D. 口 
定义 1.4.2 设 DD 是 非 空 吓 集 ,f 是 定义 在 D 上 的 函数 ,如 果 对 任意 的 x ， 
x € D, a € (0,1), 均 有 
flox' + (1—oa)r) Saf(x)+(1—a)f(x), 
则 称 了 为 D 上 的 凸 函 数 (convex function); 若 对 任意 的 x', x* € D, a € (0, 1)， 
均 有 
or + (1—a)x) <af(x')+ (1~a)f(r), 
则 称 f 为 D 上 的 严格 上 函数 . 
车 一 了 为 是 函数 , 则 称 也 为止 函数 (concave function); 若 一 了 为 严格 出 函 
数 , 则 称 太 为 严格 凹 函数 . 
凸 函 数 的 几何 意义 为 : 当 x 为 单 变量 时 , 凸 函数 的 任意 两 点 间 的 曲线 段 总 在 
弦 的 下 方 , 叫 函数 总 在 弦 的 上 方 ( 见 图 1. 4. 2). 


> y=/f(z) y 
=f(7) 


0 zm zDD 全 0 z5 zDD 全 


图 1.4.2 凸 函数 与 四 函数 
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下 列 函 数 均 为 R' 上 的 凸 函 数 : 

(1) f(x) = ex; 

(2) f(x) = lx); 

(3) f(x) 二 x7Ax( 其 中 A 是 对 称 正定 矩阵 ). 

定义 1.4.3 设 f(x) 是 定义 在 DCR" 上 的 函数 ,ER, 集 合 

D,= |x| f(x)<a,x€D} 

称 为 函数 f 的 a 水 平 集 (level set). 

定理 1.4.3 若是 非 空 凸 集 ,了 是 定义 在 D 上 的 凸 函数 , 则 对 任意 的 
a E 及, 水 平 集 D, 是 凸 集 . 

证 明 对 于 任意 的 人 2, x € D., 即 f(x) 过 a, f(x) 过 a, 则 对 于 任意 的 
XE&€ (0,1), 有 

fr + (1—Ar) SEA)+ 1—A)f(x) 
入 Mi 十 (1 一 h)a 一 we. 

所 以 


Mr 十 (1 一 人 ) 产 ED 


下 面 给 出 几 个 凸 函数 的 判别 定理 . 

定理 1.4.4 f(x) 为 凸 函 数 的 充 要 条 件 是 对 任意 的 x, y € R" ,一 元 函数 
9(a) 三 f(x 十 oy) 是 关于 a 的 凸 函 数 . 

证 明 必要 性 . 设 宇 0, ja 过 0, 且 hi 十 ia 一 1, 由 g(a) 的 定义 和 f(x) 的 
凸 性 ,有 


pla 十 haaz) = fx+ (Ma 十 haaz)y) 
一 (xz 十 zx 十 (ha 十 hzaz)3) 
一 Xi(x 十 ay) 十 hz(Y 十 czy) 
之 fx 十 ay) 十 jzf(z 十 aa) 
一 和 p(aw ) 十 hzp(az). 

由 定义 知 w(c) 是 凸 函数 . 
充分 性 . 任 取 x, 了?E R", 设 zl 一 x 十 my，z 一 x 十 azy, 则 

Fz thr) = F(x+ay) ta (x+ay)) 
= f(x+ (Ma 十 haaz)y) 
= g(ha 十 hzaz) 
和 ip(a ) 十 hzp(az) 
一 和 af(x 十 my) 十 iaf(z 十 oz) 
一 和 F(z ) 十 hz7(z2). 


20 ”最 优化 基础 理论 与 方法 


故 知 f(x) 是 凸 函数 . 
定理 1.4.5 设 DC R" 是 非 空 开 凸 集 , f: DCR" 一 R, 且 f(x) 在 D 上 一 


阶 连续 可 微 , 则 
(1) f(x) 是 D 上 的 是 函数 的 充 要 条 件 是 
fly) f(x)+ Vx) (yy—x), Vx,y€ED; (1.4.3) 
(2) f(x) 是 D 上 的 严格 凸 沙 数 的 充 要 条 件 是 
f(y)> f(x)+ Vx) (y—x), Vx,yE DEx#¥y. (1.4.4) 
证 明 必要 性 . 设 f(x) 是 D 上 的 凸 函数 , 则 Ya € (0, 1), 有 
flay + (1—a)x) <af(y)+(1—a)f(x), 


+ey = =f) jy) — f(x). (1.4.5) 


由 Taylor 展开 式 可 知 
f(x+a(y—x))— f(x) 一 aVf(z) (一 x) 十 oally 一 zx )， 
将 其 代入 (1.4.5) 式 得 


Vy -x) + ys) < Fo) 一 Fo)， 


两 边关 于 a->0 取 极限 ,有 Vf(x)™(y 一 x) < F(y) 一 f(x). 

充分 性 . 设 f(y) 一 f(x) 宇 V(x)T(y 一 x), Yx,y€ D, Ya€ (0,1). 取 
下 二 ox 十 (1 一 a)y, 由 于 DD 是 凸 集 , 故 *E D. 由 (1.4.3) 式 知 ,对 x, ED 和 
y, 环 ED, 分别 有 


f(F)+V(F) (x— 7) < f(x), Vx€D, (1.4.6) 
f(¥)+ V(r) (y— x) < f(y), Yy ED. (1.4.7) 
将 (1.4.6) 式 乘 以 a, 将 (1.4.7) 式 乘 以 (1 一 a), 相 加 得 
fF)+VY(F) art(l—a)y— 7) Saf(x)+(1—a)f(y). 
注意 到 二 ax 十 (1 一 a)y, 于 是 得 
f(F) Saf(x)+ (1—a)f(y), 
即 
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flax t+ (1—a)y) Saf(x)+(1—a)f(y). 


上 式 对 任意 的 a € (0, 1) 成 立 , 故 由 定义 1.4. 2 知 f(x) 是 凸 集 D 上 的 凸 函数 ， 
类 似 可 证 明 结论 (2). 
车 函数 f(x) 二 阶 连续 可 微 , 则 有 下 面 的 判别 定理 . 
定理 1.4.6 设 DCR" 是 非 空 开 凸 集 , f:DCR "一 R, 且 f(x) 在 D 上 二 
阶 连续 可 微 , 则 f(x) 是 D 上 的 凸 函数 的 充 要 条 件 是 F(x) 的 Hesse 矩阵 Vif(x) 
在 D 上 是 半 正 定 的 . 
证 明 ”必要 性 . 任 取 ED, 由 DD 是 开 凸 集 知 ,，Yx € D, 存 在 6 >> 0, 使 当 
a € (0, 6) 时 ,有 +ax € D. 由 于 f(x) 是 D 上 的 凸 函数 ,因此 由 定理 1.4.5 的 
结论 (1) 有 


f(F)+aVi(r) x f(r+ar), VxED. (1.4.8) 
又 由 于 f(x) 二 阶 连续 可 微 ,因此 按 二 阶 Taylor 展开 式 有 


(Fax) = f(F) Ha Vf (FT x+ oT VE) +o ox?). 


(1.4.9) 
将 上 式 代入 (1.4.8) 式 得 
ex" VF) T+ ol orl’)>0, yxeD， 
将 上 式 两 边 除 以 a? ,并 令 a-~0, 便 得 
EE Vf/(F)'r>0, YrE D, (1.4.10) 


即 Vif(x) 在 D 上 是 半 正定 的 . 
充分 性 . 设 Vf(x) 在 任意 一 点 xE D 半 正 定 ,将 F(x) 在 (FED) 处 作 
Taylor 展开 : 
f(x) = (+ YF) Tr) + 5)" VE) (x— 7), 
(1.4.11) 


其 中 和 一 元 十 gx 一 元 ) 二 x 十 (1 一 9) (0 一 0 一 1). 由 于 bgE(0, 1)、 了 是 凸 
集 , 因 而 5E D; 又 由 条 件 知 YY(6) 为 半 正 定 , 故 有 (x 一)7 Vf(&)(x 一 ) 之 0. 
由 (1.4.11) 式 可 得 


f(x)— f(x) > Vr)T (x— i). 
由 定理 1. 4. 5 的 结论 (1) 可 知 f(x) 是 D 上 的 凸 函数 . 
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定理 1.4.7 设 DCR" 是 非 空 开 屿 集 , f:DCR" 一 R, 且 f(x) 在 D 上 二 
阶 连续 可 微 ,如 果 f(x) 的 Hesse 矩阵 Vf(x) 在 D 上 是 正定 的 , 则 f(x) 是 D 上 
的 严格 凸 函数 ,反之 如 果 F(x) 是 严格 凸 函数 , 则 Ver(x) 在 D 上 是 半 正 定 和 矩阵 . 
证 明 Yxr,yE D,x 天 ,由 (zx) 在 zx 处 的 Taylor 展 开 式 有 


f(y) = f(x)+ V(x) (一 x) 十 去 一 9 Vf(E)(y — x), 


其 中 二 x 十 0(y 一 +), 96€ (0, 1). 因为 DD 是 凸 集 , 故 &€ D, 由 此 ,根据 Vzr(x) 
在 D 上 的 正定 性 ,可 知 
(y—x)" Vf(6)(y—x) > 0. 
代入 Taylor 展开 式 , 有 
f(y)— fx) > Vr) Ty— x), 
根据 定理 1. 4. 5 的 结论 (2) 可 知 f(x) 是 D 上 的 严格 凸 函 数 . 
又 由 f(x) 在 D 上 是 严格 凸 函 数 可 知 , f(x) 在 D 上 必 是 凸 函数 ,根据 
定理 1.4.6 可 知 f(x) 的 Hesse 矩阵 Vf(x) 在 D 上 是 半 正 定 矩阵 . 
值得 注意 的 是 ,由 f(x) 在 D 上 是 严格 凸 函数 不 能 推出 V2r(x) 在 D 上 是 正 
定 矩 阵 . 例如 ,一 元 函数 f(x) = xz' 是 严格 凸 函 数 , 了 (zx) = 12z? ,但 产 (0) = 0， 
即 "(zx) 在 z = 0 处 不 是 正定 的 . 
凸 集 分 离 定 理 是 研究 非 线性 规划 最 优 性 条 件 的 理论 基础 ,下 面 予以 介绍 . 
定义 1.4.4 设 DD, D; 是 两 个 非 空 集合 , a € R", BE R, 若 有 
DCEH=ireR iarxypl， 
DiCH= |xrE€R'|a'r<pl, 
则 称 超 平面 态 = {x E R" | orx 一 有 | 分离 了 集合 D, 与 D,. 进而 , 若 有 D, U D， 
多 顾 , 则 称 瑟 正 常 分 离 了 Di 与 D,. 若 有 
D: CH'= {x€ R’ |a'™x> pl, 
DCH = ixr€R’|atr<p, 
则 称 及 严格 分 离 了 DD 与 D,. 
定理 1.4.8 设 DC R" 是 非 空 闭 凸 集 ,?E R" 但 y 4 D, 则 
(1) 存在 唯一 的 一 点 E DD, 使 得 ?是 y 到 DD 的 距离 最 小 的 点 , 即 有 
lz—yl =infllx—yl,xe D>o. 


(2) 主 是 y 到 DD 的 最 小 距离 点 的 充 要 条 件 是 
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(x—1)"(F—y)>>0, YrE€D. 

证 明 (1) 设 有 单位 球 S= {s | sl 1,s € R"}, 取 充 分 大 的 p> 0， 

可 使 
DN (y+pS)¥ 2. 
注意 到 DD 是 闭 集 , y 十 pS 是 有 界 闭 集 , 故 D 站 (? 十 wS ) 是 非 空 有 界 闭 集 . 因此 ， 
连续 函数 
f(x)= ly—xl 

在 DN (y 十 uS) 上 取 到 最 小 值 . 设 这 个 最 小 值 在 点 *€ D 由 (y 十 pS) 上 达到 ， 
则 是 y 到 DD 的 距离 最 小 的 点 . 

现 证 明 点 的 唯一 性 . 设 有 XE D, 关 , 使 

上 7 一 部 上 = ly—xl 一 y， 

则 


nd = 


由 人 D 是 是 集 知 三 地 < E D, 及 y 是 最 小 距离 , 故 上 式 等 号 成 立 , 从 而 存在 


A4ER', 必 有 
y—F=A(y—£). 


又 由 于 |y 一 | 一 上 y 一 上 一 所 以 14 1 二 1. 若 4 一 一 1, 则 由 y 一 二 
一 ?十 广 知 ) 一 三 地 这 Ee DD, 这 与 yE DD 矛盾 .因而 4 = 1, 即 有 x 一 ,x 的 只 
一 性 得 证 . 
(2) 充分 性 .对 任意 的 x E D, 有 
lx—yl? = ‖ zx 一 让 十 到 一 有 


= |x—xl?+ | ryl’+2(x— x)' (x—y). 
由 于 x 一 |? >>0 及 (x 一 F)"(F 一 y) 之 0, 因此 从 上 式 有 
lx—yl:> | Foyll:, YxeD, 


即 x 为 最 小 距离 点 . 
必要 性 . 由 75 是 y 到 DD 距离 最 小 的 点 ,可 知 


17 一 ?1 < lx—yl,Yxe€eD, 
或 等 价 地 ,有 
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ls—-yl’e lr—yl’, Yre€ D. (1.4.12) 
因为 XE D 及 DD 是 凸 集 ,所 以 ,对 任意 的 a E€ (0, 1), 有 
K+a(x—X¥)=ar+(l—a)xr€ED, VxE€ED. 
用 上 式 代替 (1.4. 12) 式 中 的 x, 则 得 


| x—yl’< ly—F—a(x—zx)l? 
= |y—¥|*+a lx—rl:—2a(y— x)" (x— x). 


从 上 式 可 得 
allx—rll*—2a(y— 7) (x— x)>0, Va€ (0,1). 
将 上 式 两 端 同 除 以 a, 并 令 a>0, 便 得 
(x—x)"(F—y)>0, Yx€E D. 口 
定理 1. 4.9( 点 与 凸 集 的 分 离 定 理 ) 设 DC R" 是 非 空 闭 凸 集 ，y E R" 但 
了 人 也, 则 存在 wE R", a 承 0, 8E R, 满足 
a'x<p<a'y, YxE€ED, 


即 存在 超 平面 H = {x | orx = pB, x € R"| 严格 分 离 y 与 D. 
证 明 由 DD 是 闭 凸 集 , ?人 DD 及 定理 1.4.8 可 知 ,存在 唯一 的 最 小 距离 点 
了 ED, 满足 


(x—x)"(F—y)>0, Yr€D, 
上 式 即 

A(y—F)SrI(y—F), VxED, (1.4.13) 
而 

外 ?一 到 上 一 (一 部 )T(? 一 天 ) 一 JT(7 一 宛 ) 一 苯 ( 了 一 下 ). 
由 (1.4.13) 式 ,得 
ly—xl?<y(y—F)—x(y— zx), Yx€ D. 

令 a 二 y 一 ,显然 ,a 关 0, 则 上 式 成 为 

0< lal:< ye—x'a, VYxeD, 
即 werxz < ary， Vx ED. 令 p= supiaTx |xE€ Dj, 立即 得 

ax 和 8<oy，YxeD， 

即 超 平面 及 二 jx | arx = p, x E R"| 严格 分 离 y 与 D， 口 
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i 


司 题 一 


.1 设 经 验 模型 为 ?一 反 十 及 z 十 记 za, 且 已 知 N 个 数据 (zi，za)，y(i 一 1 2, …，N). 


选择 所 , 和 色 ,使 按 模型 计算 出 的 值 与 实测 值 偏离 的 平方 和 最 小 , 试 导出 相应 的 最 优 
化 问题 . 


.2 求 下 列 函 数 的 梯度 和 Hesse 矩阵 ; 


(1) f(z) = 3z172 + 4en™; 
(2) f(z) = In(z! + xix + 72). 


.3 设 有 向 量 值 函 数 


Emi 


2zi 十 mizz 


f(x)= f(z, za) 一 


sin Zi + cos | 


求 fx) 在 任 一 点 (zi ，zaz) 的 Jacobi 矩阵 . 


.4 设 有 复合 向 量 值 函数 h(x) = f(u(x)), 其 中 


_ [四 1] 研一 如 [uw))]_ {at 
Lo nd ed CE pad Eo ed 


试 求 复合 函数 h(x) = f(u(x)) 的 导数 . 


.5 证 明 : 


f(x)= 去 TAr+b'xr 


为 严格 凸 函数 的 充 要 条 件 是 Hesse 矩阵 4 正定 . 
验证 集合 H = |x € R" | Prx = al 为 凸 集 , 其 中 为 mn 维 列 向 量 ,a 为 实数 . 


“7 证明 两 个 凸 集 的 交集 是 凸 集 . 考虑 :两 个 凸 集 的 并 集 是 否 为 凸 集 ? 证 明 或 举 出 反例 . 
:8 设 f(z1,z)=10-2(z zi), S= {a, 1)I-1<a<l,-l1<a<ll, 


zl, zs) 是 否 为 S 上 的 凸 函数 ? 


.9 判断 下 列 函 数 是 否 为 凸 函数 或 四 函数 : 


(1) f(z) = xz? +2zz: — 10z 十 5zzi 
(2) f(z) =— zi +2n zs 一 5 如 十 10zi — 10z:. 


.10 证明 不 等 式 :车 之 0 (i 二 1,2,…,n), 则 


十 > 工 二 


第 二 章 ”无 约束 最 优化 
方法 的 一 般 结 构 


本 章 考虑 如 下 无 约束 最 优化 问题 : 
min f(x), (2.1) 


ER 
主要 介绍 无 约束 最 优化 问题 (2.1) 的 最 优 性 条 件 及 一 维 搜索 方法 ,并 给 出 对 于 问 
题 (2.1) 的 下 降 算 法 的 一 般 结 构 及 其 全 局 收 化 性 和 收 仇 速率 问题 . 


ri 


无 约束 最 优化 问题 (2. 1) 的 解 的 类 型 有 局 部 解 和 全 局 解 两 种 . 
定义 2.1.1 设 x”E R". 若 存在 x* 的 8(3>> 0) 邻 域 


N(x*)= {x| xx <d}, 
使 得 
f(x)f(x°), Vx E€ N(x ), 


则 称 x" 为 A(x) 的 局 部 解 ; 若 
f(x)> fx), Vx EE N(x), 


则 称 x* 为 (x) 的 严格 局 部 解 . 

定义 2.1.2 设 x*" ER". 

(1) 若 对 任意 的 x € R", 有 f(x) 之 f(x* ); 则 称 x" 为 f(x) 的 全 局 解 ; 

(2) 若 对 任意 的 xE R", 有 f(x) > f(x* ); 则 称 x* 为 f(x) 的 严格 全 
局 解 . 

由 以 上 解 的 定义 可 以 看 出 ,x" 是 局 部 解 是 指 在 以 x* 为 中 心 的 某 个 邻 域内 ， 
f(x) 在 x" 处 取 到 最 小 值 . 而 x* 是 全 局 解 是 指 在 整个 空间 R* 上 , f(x) 在 x 处 
取 到 最 小 值 . 局 部 解 不 一 定 是 全 局 解 ,但 全 局 解 一 定 是 局 部 解 . 图 2. 1. 1 给 出 了 
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一 元 函数 局 部 解 和 全 局 解 的 情况 . 


f(z) 


\ \T Ne 


严格 局 部 解 。 局 部 解 ”严格 全 局 最 优 解 
图 2.1.1 一 元 函数 的 局 部 解 和 全 局 解 


应 该 指出 ,实际 上 可 行 的 只 是 求 一 个 局 部 (或 严格 局 部 ) 解 ,而 非 全 局 解 , 尽 
管 目前 也 有 许多 求全 局 解 的 算法 ,但 一 般 来 说 这 是 一 个 相当 困难 的 任务 . 在 很 多 
实际 应 用 中 , 求 局 部 解 已 经 满足 了 问题 的 要 求 . 因此 ,本 书 所 指 的 求解 ,通常 是 指 
求 局 部 解 , 仅 当 问 题 具有 某 种 凸 性 时 ,局 部 解 才 是 全 局 解 . 

定理 2. 1.1( 一 阶 必要 条 件 ) 设 F(x) 一 阶 连续 可 微 , 若 x* 是 无 约束 问题 
(2. 1) 的 一 个 局 部 解 , 则 


V(x')=0. (2.1.1) 
证 明 对 任意 的 d 关 0, d € R", 构造 单 变量 函数 
g(a) = F(x +ad). 
因为 x" 是 约束 问题 的 局 部 解 ,所 以 , a = 0 是 一 元 函数 g(a) 的 局 部 极 小 点 . 由 一 
元 函数 极 小 点 的 必要 条 件 ,有 
0=p(0) = (V(x*),d) =dT V(r), Vdz0,d€ R". 
因为 4 的 任意 性 ,所 以 (2. 1.1) 式 成 立 . 
无 约束 问题 解 的 一 阶 必要 条 件 表明 , 若 x* 是 局 部 解 , 则 任何 方向 上 的 方向 
导数 均 为 0, 即 在 x* 处 的 切 平面 是 水 平 的 . 注意 ,定理 2. 1. 1 的 逆 命 题 不 成 立 ， 


即 梯度 为 0 的 点 不 一 定 是 局 部 解 . 
例 2.1.1 


minjf(x) = z+zi}, x ER. 
f(x) 的 梯度 为 
Vf(x) = (3zx?, 2z2)T. 


在 二 (0, 0)", 显 然 Vf(5) = 0, 但 是 ,显然 不 是 局 部 解 ,因为 对 于 所 有 的 
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e 二 0, 都 有 
f(—e, 0) =~e <0= (0, 0) = f(7). 


定理 2. 1.2( 二 阶 必要 条 件 ) 设 f(x) 二 阶 连续 可 微 . 若 x* 是 无 约束 问题 
(2.1) 的 一 个 局 部 解 , 则 


V(x ) = 0, Vf(x* ) 为 半 正定 . 


证 明 只 需 证 明 Vf(x* ) 半 正定 .对 于 任意 的 d 取 0, de R", 由 于 xz" 是 局 
部 解 , 则 存在 e > 0, 使 得 当 0 a 二。 时 ,有 


f(x* 十 中 ) 二 f(x ). (2.1.2) 
另 一 方面 ,二 阶 Taylor 展 式 


Ar tod) = f(x ) + od™ Vx* ) 十 于 oar Vf(x )d+ oa?). 
由 Vf(x* ) = 0 及 (2.1.2) 式 得 到 
到 ear Vf x )d+ola’) > 0. (2.1.3) 


在 (2.1.3) 式 两 端 同 除 以 o ,并 令 ~0+ ,得 到 
dT Vif(x’)d>0, Vde R", 


即 Vf(x* ) 为 半 正 定 . 
定理 2. 1. 2 表明 ,在 局 部 解 x* 处 的 二 阶 方向 导数 非 负 . 
例 2.1.2 考虑 如 下 问题 


min{ f(z) — 二 z+ zz 22 4z 一 4 -有 a) 


其 梯度 为 


VI(x) = (nit zs —4, zi 4z: — 4— 3z:)T, 


Hesse 矩阵 为 
和 1 
vw =|} 过 


方程 V(x) 一 0 有 两 个 解 : 二 (4, 0) 及 x 二 (3, 1). 但 是 


wo=-| | 
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是 不 定 和 矩阵 ,因此 , 仅 有 三 一 (4, 0) 可 能 为 解 ,后 面 的 例子 会 说 明 它 确实 是 问题 
的 解 . 

满足 VA(x* ) = 0 的 点 x" 称 为 函数 f 的 平稳 点 或 驻 点 . 如果 Vf(x* ) 二 0， 
则 x" 可 能 是 极 小 点 ,也 可 能 是 极 大 点 ,也 可 能 不 是 极 值 点 . 既 不 是 极 小 点 也 不 是 
极 大 点 的 平稳 点 称 为 函数 的 鞍点 . 

下 面 我 们 讨论 二 阶 充分 性 条 件 . 

定理 2.1.3( 二 阶 充 分 条 件 ) 设 f(x) 二 阶 连续 可 微 , 且 


W(x ) 二 0, Vf(x" ) 为 正定 ， 

则 x" 是 无 约束 问题 的 一 个 严格 局 部 解 . 

证 明 对 于 x E€ Rr",x 关 x , 令 d 一 了 二 和 和 ,所 以 1dll = 1. 于 是 
x 二 x" 十 ad, a= x 一 x" |‖. f(x) 在 x' 处 的 二 阶 Taylor 展开 式 

f(x) = Te tod) = fx° ) + od V(x )+ edT V(x )d + ole’). 
因为 W(x* ) = 0, 所 以 
f(®) — f(x° ) = Dard Vif(x* )d + ola’). (2.1.4) 

只 需 证 明 , 存 在 es>0, 当 0 一 “<e 时 ,(2.1.4) 式 右 端 大 于 0. 由 于 函数 F(d) = 


和 YA(r )d 是 闭 球 1d | 141 = 1} 上 的 连续 函数 ,并 且 Vz(x' ) 为 正定 ,因此 ， 
存在 r > 0, 使 得 


dT Vif(x°)d>r, 
从 而 


o(a’) 
a 


到 er Ver )a+t > 二 -十 2 (2.1.5) 
a 


由 于 2 ~ 0(e—0), 因此 ,存在 e 二 0, 当 0 二 a 二 e 时 ,(2.1.5) 式 右 端 大 于 


0, 即 (2.1.4) 式 右 端 大 于 0. 因此 x* 是 严格 局 部 解 . 
例 2.1.3 继续 考虑 例 2.1.2, 在 点 5 处 ,其 Hesse 矩阵 


va -| :| 


为 正定 矩阵 ,x 满足 了 无 约束 问题 局 部 解 的 充分 条 件 , 因 此 该 点 为 局 部 解 . 
一 般 地 ,目标 函数 的 平稳 点 不 一 定 是 极 小 点 ,但 是 , 若 目标 函数 是 凸 函数 时 ， 
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则 其 平稳 点 就 是 其 极 小 点 , 且 为 全 局 极 小 点 . 
定理 2.1.4( 凸 充分 性 定理 ) 若 了: R" 一 及 是 凸 函 数 , 且 f(x) 一 阶 连续 可 
微 , 则 x" 是 全 局 解 的 充分 必要 条 件 是 Vf(x* ) = 0. 
证 明 因为 /是 R" 上 的 可 微 凸 函数 , VA(x" ) 一 0, 故 有 
fx) fx)+Vx (xx) = f(x), YxER", 


这 表明 x" 是 f(x) 的 全 局 极 小 点 . 


求解 无 约束 问题 (2. 1) 的 关键 就 是 构造 一 点 列 (或 序列 ) | x1 ,使 其 满足 
lim f(x) = f(x°) = minf(x), limx = x", 
= je = 


称 x "为 问题 (2. 1) 的 解 , 称 |x*} 为 极 小 化 点 列 ,其 构造 方法 ,一 般 采 用 逐步 构造 
法 , 即 取 
r+ad:, k=0,1,2,., 

称 必 为 x* 处 的 搜索 方向 ,a 为 沿 d* 方向 的 步 长 .采用 不 同 的 方法 构造 dt 和 采 
用 不 同 的 沿 此 方向 的 步 长 确定 方法 ,都 对 应 不 同 的 算法 . 

本 节 假 定 在 x 处 的 搜索 方向 d* 已 经 确定 ,怎样 寻找 沿 必 方向 合适 的 步 长 
ai 以 确定 大 ”一 江 十 ard*, 且 满足 FCxet) 之 f(x*)? 

讨论 步 长 w 的 确定 方法 即 为 一 维 搜索 问题 . 求 ws 的 方法 主要 有 精确 线性 搜 
索 ,\ 直 接 搜索 法 和 不 精确 线性 搜索 ,等 等 ,各 类 方法 各 具 特 色 , 下 面 分 别 予 以 介绍 


$ 2.2.1 精确 线性 搜索 
如 果 有 a ,使 得 
$m) = miniga) = f(x# + od*)|, 


则 称 该 搜索 为 精确 线性 搜索 (exact linear search) , 称 wm 为 最 优 步 长 . 
由 极 值 的 必要 条 件 知 ,at 是 方程 
岁 (<) 一 V(r+ad') Td 一 0 (2 人 于 
的 非 负 根 . 求 方程 (2. 2. 1) 可 利用 数值 分 析 中 介绍 的 非 线性 方程 求 根 的 方法 , 例 


如 ,牛顿 法 、 割 线 法 和 简单 选 代 法 等 . 通常 求 %(a) 的 全 局 极 小 点 是 困难 的 , 故 往 
往 取 方程 的 最 小 正 根 作为 %a) 的 极 小 点 a ,这 就 是 Curry 准则 , 即 
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4 一 minla|Vr(x 二 ad4)rd = 0,a> 0|. 


在 精确 线性 搜索 中 ,a 是 $(4) 的 精确 极 小 点 . 实际 上 ,除了 F(x) 是 二 次 函数 的 
特殊 情况 外 ,这 是 不 可 能 实现 的 . 因为 不 可 能 在 有 限 步 内 求 得 方程 (2. 2. 1) 的 精 
确 解 ,我 们 只 能 得 到 满足 一 定 精度 的 近似 解 ,并 且 求 精确 解 是 低 效 的 和 没有 必要 
的 . 但 是 ,精确 线性 搜索 具有 重要 的 理论 价值 ,许多 无 约束 最 优化 算法 的 收敛 性 
和 收敛 速度 都 基于 精确 线性 搜索 . 


$2.2.2 搜索 区 间 与 单 峰 函 数 

在 精确 线性 搜索 中 要 求解 方程 (2. 2. 1) ,这 就 用 到 目标 函数 的 梯度 和 二 阶 导 
数 矩 阵 , 但 计算 量 大 . 对 于 一 些 非 光滑 函数 或 导数 表达 式 复 杂 的 函数 也 不 能 用 精 
确 线 性 搜索 . 对 于 这 样 的 函数 ,可 以 利用 直接 搜索 法 和 插值 法 . 这 两 种 方法 都 要 
求 事先 知道 包含 w 的 一 个 搜索 区 间 [a, 5b] C [0, 十 ce), 然后 在 区 间 内 进行 直 
接 搜 索 或 插值 等 迭代 方法 . 在 本 小 节 后 面 两 小 节 我 们 将 极 小 点 as 记 为 a* . 下面 
给 出 一 种 确定 搜索 区 间 的 方法 . 

定义 2.2.1 设 “是 ga) 的 极 小 点 , 若 存 在 区 间 [a, 5], 使 得 a* € [a, 6b]， 
则 称 [a, 5] 为 $(a) 的 搜索 区 间 . 

确定 搜索 区 间 的 进退 法 ”从 一 点 出 发 , 按 一 定 的 步 长 ,确定 函数 值 呈 “ 高 一 
低 一 高 "的 3 点 . 如 果 一 个 方向 不 成 功 ,就 退回 来 ,再 沿 相反 的 方向 寻找 ,也 就 是 
逐步 确定 3 点 a 过 c 过 b (a € [0, 十 co)), 使 得 


$(a) > $(c) < $(6). 


给 定 ao 之 0, 计算 $(ao), 取 步 长 h 二 0, 令 a = ao 十 h, 计算 g(a ), 若 gao) 
之 内 al:) , 则 令 a; = a 十 入 (7 是 给 定 的 常数 ,7 二 1, 例 如 , 取 y=2), 计算 $(as); 
若 #(as) >> #41), 则 取 a = ao, 6 二 as,c 一 al, 便 得 到 搜索 区 间 [a, 5b]. 否则 ， 
令 a 三 ar 十 Yh, 计算 $(as) ,这 样 继续 做 下 去 . 由 于 g%(a) 是 局 部 凸 函数 , 故 存在 
某 个 上 ,有 

$(a1) 一 上 ao) 

取 a 一 au- ,6 一 at, c 一 ai，, 则 得 到 一 个 搜索 区 间 [a， 5]. 

车 一 开始 有 gao) 过 $(a1)( 或 $(a。) = $(a,)), 沿 相反 的 方向 搜索 ,重新 记 
a (ao) 二 $41), a 为 ao,$(a1) 为 $8(ao), 则 有 a 过 ao, ga) 一 上 oo) 

令 a 二 一 六 ,计算 $(as). 若 $(az) >$(a), 则 取 a 二 ay,6=ao, cc 二 ai. 
否则 , 令 as = az 一 Fh, 计算 $(as), 照 此 综 续 做 下 去 ,直到 对 某 个 ,有 


$(a1) < $(arn). 
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取 a = arn ,5 二 as-1,c 三 as, 则 得 到 一 个 搜索 区 间 [a, 65]. 

仅仅 知道 $8(a) 的 搜索 区 间 是 不 够 的 ,本 节 所 介绍 的 算法 还 要 求 函数 在 搜索 
区 间 上 是 单 峰 ( 谷 ) 函 数 ,这 里 给 出 单 峰 函数 的 定义 . 

定义 2.2.2 设 函 数 $(a) 在 区 间 [a, 5] 内 存在 极 小 点 a”E (a, 5). 如 果 对 
于 任意 的 a, a ,满足 : 

(1) 当 w 过 a a' 时 ,有 $m) > $(a1); 

(2) 当 a* 过 a 二 a 时 ,有 $(a1) 过 $(a2); 
则 $8(a) 在 区 间 [a, 避 上 是 单 峰 函数 . 

图 2. 2. 1 是 单 峰 函 数 和 多 峰 函 数 的 示意 图 . 


外 多 


On Fr 0 < 站 
图 2.2.1 单 峰 函数 与 多 峰 函数 


通常 认为 函数 在 由 上 面 所 确定 的 搜索 区 间 上 是 单 峰 函数 、 


$2.2.3 直接 搜索 法 一 一 0. 618 法 

在 上 一 小 节 ,我 们 求 得 了 一 个 包含 %a) 极 小 点 a* 的 搜索 区 间 [a, 5b], 并 且 
通常 认为 函数 在 该 搜索 区 间 上 是 单 峰 函数 . 由 于 篇 幅 有 限 , 这 里 只 介绍 直接 搜索 
法 中 简单 易 行 .在 实际 中 应 用 广泛 的 0. 618 法 (也 叫 黄金 分 割 法 ). 

0. 618 法 的 基本 思想 是 通过 取 试 探 点 和 进行 函数 值 比较 ,使 包含 极 小 点 
的 搜索 区 间 不 断 减少 , 当 区 间 长 度 缩短 到 一 定 程度 时 ,就 得 到 函数 极 小 点 的 近 
似 值 . 

0. 618 是 一 元 二 次 方程 


的 根 


的 近似 值 . 
在 搜索 区 间 上 确定 两 个 试探 点 ,其 中 左 试探 点 为 
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a 一 a 十 (1 一 rz)( 一 a)， 
右 试探 点 为 
ar 一 4 十 r(0 一 a)， 
计算 $a) 一 史 ，gar) 二 多. 

由 单 峰 水 数 的 性 质 , 若 二 $, 则 区 间 [a,, 8] 内 不 可 能 有 极 小 点 ,因此 去 掉 
[ar, 6], 令 a' = a,b' = a,, 得 到 一 个 新 的 搜索 区 间 ; 若 和 过 $,, 则 区 间 [a, co] 
内 不 可 能 有 极 小 点 ,因此 去 掉 [a, ai], 令 a” = ao, 2 = b, 得 到 一 个 新 的 搜索 
区 间 . 

类 似 上 面 的 步骤 ,在 区 间 [ao“…，, 5b"] 内 再 计算 两 个 新 的 试探 点 
af =a +(l—7)(b -a);a’=a t+r(d —a’). 

再 比较 函数 值 ,确定 新 的 区 间 , 如 此 下 去 …… 
事实 上 ,在 每 次 计算 区 间 端 点 函数 值 时 ,只 需 计 算 一 个 端点 处 的 函数 值 , 因 
为 当中 二 上 时 ,新 的 右 端点 
a 一 4 十 r( 信 一 ao) 一 a 十 r(a 一 a) =a+r(b—a) 
一 4 十 (1 一 rz)( 一 a) 一 ay， 
即 为 原 区 间 的 左 试探 点 . 当 员 之 风 时 ,新 的 左 试探 点 为 
al =a’+(l—r)(b’ —a’) 
=a+(l—r)(b—a) 
=a+(l—r)(b—a)+r(l—r)(b—a) 
=a+(l1—7)(b—a) 
=a+r(b—a) = a,, 
即 为 原 区 间 的 右 试探 点 . 


算法 2. 2. 1(0. 618 法 ) (1) 置 初始 区 间 [a, 6] ,并 置 精度 要 求 e, 并 计算 左 
右 试探 点 


2 一 4 十 (一 呆 ( 一 Ga)， 
ar 一 a 十 r(6 一 a)， 


其 中 上 = 汪 守 上 ,及 相应 的 函数 人 
b= $0), $= $(a,). 
(2) 如 果 名 过 加， 则 置 


b=a,ar=a, = 
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并 计算 
a =at+(l—r)(b—a), $= $(a); 
否则 , 置 
aa 一 aa 一 ar, 史 一 风 ， 
并 计算 


ar =a+r(b—a), $= $(a,). 
(3) 如 果 | 5 一 a | 之 e, 那么 :如 果 和 过 各 , 则 置 y = ai; 否 则 , 置 jy = ao, 停 
止 计算 (y 作为 问题 的 解 ). 否则 , 转 步骤 (2). 
例 2.2.1 用 0.618 法 求解 一 维 问题 
min g(c) 一 ee 一 5c 
在 区 间 [1, 2] 上 的 极 小 点 ,计算 4 步 . 解 a=1,5=2, w 一 1.382,，a, 一 1.618， 
由 一 2.764, $, 二 2.764. 详细 计算 结果 见 表 2. 2. 1. 


表 2.2.1 计算 结果 
迭代 次 数 a b a ar 由 多 1 一 al 
1 2 1.382° 1.618* 2.764° 2.764" 1.00 
1.382 2 1.618 .764* 2.764 2.820" 0.618 
1.382 1.764 1.528° .618 2.751" 2.764 0.382 
1.528 1.618 1.472 . 528° 2.751 2.751° 0.236 
1.472 1.618 1 


1.472 1.562 1. 506 .528” 2. 750 2.751" 0. 090 


1.472 1.528 1.493 .506° 2.750 2.751° 0.056 


mH omewn- 


1 
1 
1 
.528 1.562° 2.751 2.754" 0.146 
1 
1 
1 


1.472 1.506 1.485 .493* 2.750 2.750° 0.034 
es ed Ae eh ma 
表 2. 2. 1 中 带 * 的 值 是 新 计算 出 的 . 所 以 ,函数 的 极 小 值 取 a, 一 1. 493. 

经 次 计算 后 ,最 终 小 区 间 的 长 度 为 ~" (8 一 a) ,这 里 b 一 a 为 初始 区 间 的 长 
度 ,由 于 每 次 迁 代 极 小 区 间 的 收缩 比 为 r, 故 0. 618 法 的 收敛 速度 是 线性 的 , 收 
65-1 
煞 比 为 r= 6 二 + 
另外 ,我 们 可 以 看 出 ,这 里 我 人 为 什么 要 用 0. 618 来 确定 新 的 点 ,从 而 确定 
新 的 搜索 区 间 , 主 要 是 用 到 按 端点 折 友 以 确定 新 区 间 , 从 而 减少 计算 量 . 
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$2.2.4 非 精 确 一 维 搜索 方法 
用 精确 线性 搜索 和 0. 618 法 求 得 的 是 一 元 函数 


$(a) = f(x +ad’) 


的 精确 极 小 点 或 近似 极 小 点 . 用 这 种 方法 求 得 的 ax 虽然 使 得 目标 函数 在 每 次 迭 
代 中 下 降 较 多 ,但 计算 量 比 较 大 . 而 在 求 目标 函数 f(x) 的 最 优 解 时 ,往往 没有 必 
要 把 线性 搜索 搞 得 十 分 精确 ,特别 在 计算 的 初始 阶段 更 是 如 此 . 这 时 和 迭代 点 类 
离 目标 函数 的 最 优 解 尚 远 , 过 分 地 追求 线性 搜索 的 精度 反而 会 降低 整个 方法 的 
效率 . 因此 ,我 们 可 以 适当 放松 对 as 的 要 求 , 只 要 求 目标 函数 在 迭代 的 每 一 步 都 
有 充分 的 下 降 即 可 . 这 样 做 的 优点 是 减少 每 一 次 一 维 搜索 的 时 间 , 使 整体 效果 最 
好 . 这 就 是 本 小 节 介绍 的 非 精确 一 维 搜索 方法 ( 即 寻找 可 接受 的 步 长 as 的 搜索 
方法 ). 

非 精 确 一 维 搜索 的 基本 思想 是 求 ,使 得 $(y) 二 $(0), 但 不 希望 4 值 过 大 ， 
因为 值 过 大 会 引起 点 列 { 江 | 产生 大 幅度 的 摆动 ;也 不 希望 y 值 过 小 ,因为 值 
过 小 会 使 得 点 列 {x} 在 未 达到 x" 之 前 就 没有 进展 . 下 面 简单 介绍 3 种 非 精 确 一 
维 搜索 方法 的 思想 . 

1， Goldstein 方法 

预先 指定 两 个 参数 8 ，P( 精 度 要 求 ) ,满足 0 二 Bp 二 PB 二 1, 用 下 面 两 个 不 
等 式 来 限定 步 长 y, 即 


$(p) S$(0) + p81$ (0); $(p) $0) + pag (0). 


由 图 2.2.2 可 以 看 出 ,x 值 在 y = gw) 的 图 形 夹 于 直线 y = $(0) 十 (0)p 和 
直线 y 二 $(0) 十 妨 (0)y 之 间 .直线 y 二 内 0) 十 内 (0)w 控制 w 值 使 其 不 会 过 
大 ;而 直线 y = $8(0) 十 Be$(0)p 控制 py 值 使 其 不 会 过 小 . 由 此 得 到 相应 的 算法 . 


> 


y=$(0)+ 8,$"(0) 
y=$0) 


O 


上 可 接受 解 一 | 


y=$(0) 十 Ap:w(0) 
图 2. 2.2 Goelkdstein 方法 的 几何 意义 
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算法 2. 2.2(Goldstein 方法 ) (1) 取 初 始 试探 点 yx, 置 wo 二 0， pr 一 十 oo 
(充分 大 的 数 ), 置 精度 要 求 0<<B < 过 1. 
(2) 如 果 $(p) >> $8(0) 十 B$(0)y, 则 置 


pmar 一 ps 
否则 ,如果 gz) 宇 丰 0) 十 B&#(0)p, 则 停止 计算 (jp 就 作为 非 精确 搜索 步 长 ); 否 
则 , 置 


Hi 一 pe 
(3) 如 果 ps 二 十 oo( 有 限 ), 则 置 
p= 至 (em 十 pus)i 
否则 , 置 
p= pmin 


(4) 转 步骤 (2). 

2，Armijo 方法 

Armijo 方法 是 Goldstein 方法 的 一 种 变形 ,是 Armijo 在 1969 年 提出 来 的 
求 w 的 一 种 试探 性 方法 . 

预先 给 定 一 个 大 于 1 的 数 M 和 0 < B 二 1, y 的 选取 使 得 


$(p) $0) +P$ (0)p, 


而 M < “不 成 立 . 通常 M 在 2 到 10 之 间 . 

3. Wolfe-Powell 方 法 

Wolfe-Powell 方法 是 1969 年 到 1976 年 期 间 ,由 Wolfe 和 Powell 提出 来 
的 . 预先 给 定 参数 p., &, 且 0 二 B 二 二 1, 使 得 步 长 满足 


$(p) S$(0) +B$ (0)p, (2.2.2) 
$y) B80). (2 2.8y 


(2. 2. 3) 式 有 时 写成 
[$Cp) [SB 1 $0) 1. 
Wolfe-Powell 方法 的 优点 是 :在 可 接受 解 中 保证 了 最 优 解 a* ,而 Goldstein 
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方法 却 不 能 保证 这 一 点 . Wolfe-Powell 方法 的 几何 意义 见 图 2. 2. 3. 


y= $(0) + pB1$"0) 
y=$() 


$=PB$(0) 


上 一 可 接受 解 一 一 
图 2.2.3 Wolfe-Powell 方法 的 几何 意义 


§ 2.3” 下 降 算 法 的 全 局 收敛 性 与 收敛 速率 


下 降 算 法 的 一 般 迭 代 格式 如 下 : 

(1) 给 定 初始 点 x! ,，&:= 1; 

(2) 确定 局 部 下 降 方 向 性 ,使 得 

Vi(x)d: 一 0; 

(3) 确定 步 长 a > 0, 使 得 

f(x +ad’) < f(x); 

(4) 令 4 一 如 十 asd4 

(5) 若 WW(x") 一 0, 则 停 ; 否 则 , 令 &: 一 上 十 1, 转 步 又 (1). 

显然 , 若 使 算法 切实 可 行 ,必须 首先 解决 以 下 3 个 问题 : 

(1) 如 何 确定 某 点 处 的 搜索 方向 ? 

(2) 如 何 进行 一 维 搜索 ? 

(3) 如 何 确定 当前 点 的 终止 准则 ? 

其 中 第 二 个 问题 前 面 已 经 讨论 过 了 ,另外 两 个 问题 留 在 以 后 的 各 章 中 去 解决 .在 
后 面 的 两 章 中 将 介绍 确定 搜索 方向 的 方法 ,这 一 部 分 内 容 是 无 约束 最 优化 方法 
的 重点 ,每 一 种 确定 搜索 方向 的 方法 就 决定 了 一 种 算法 . 对 于 第 三 个 问题 一 一 终 
止 准则 ,一 般 是 与 算法 相 联系 的 . 

从 算法 的 结构 可 知 , 下 降 算 法 产生 的 极 小 化 序列 1x} ,其 对 应 的 目标 函数 
值 的 序列 f(x*)1 是 单调 递减 的 . 因此 , 若 1f(**)| 有 下 界 , 则 必 有 极限 . 但 过 
不 一 定 收敛 (甚至 不 一 定 有 界 ). 并 且 , 即 使 { 关 } 收 敛 ,其 极限 也 不 一 定 是 f 的 
平稳 点 .事实 上 ,如 果 VA(x') 关 0, 则 由 于 f(x) 连 续 可 微 ,因此 可 选 充 分 小 6， 


O 
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使 得 当 x 一 x 中 短 e 时 ,W(x) 夭 0. 若 在 下 降 算 法 中 取 步 长 ce 充分 小 ,使 得 
人 xz 一 入 下 委 e2, 则 { 节 收 敛 到 一 点 x" ,满足 


lx*—rl <e. 


因而 Vi(x* ) 关 0. 
作为 具体 的 例子 ,考虑 求 函数 f(x) 二 z*(z € R') 的 极 小 点 . 设 迭代 算法 如 
下 : 取 初 始点 也 , 令 


i 


nb RE ek 
. 0.5x:, ely 


则 当初 始点 z' 二 1 时 一 0, 即 1x 和 收敛 到 f(z) 的 极 小 点 ;但 当 zx? > 1 时 ， 
>z >>1(k 二 1,2,…), 故 x* 一 xz 之 1, 即 z' 不 是 了 的 平稳 点 ,但 是 容 
易 看 出 ,所 述 算法 是 一 个 下 降 算法 . 

发 生 上 述 情况 的 主要 原因 是 ,虽然 每 次 迭代 函数 的 值 有 所 下 降 , 但 由 于 步 长 
太 小 而 下 降 得 很 少 ,以 致 停留 在 一 个 非 平 稳 点 上 . 

因此 ,为 了 使 极 小 化 序列 能 够 收敛 到 一 个 平稳 点 ,通常 要 求 目标 函数 有 “ 充 
分 的 "下 降 ,这 就 对 下 降 方向 必 与 步 长 ak 提出 了 要 求 . 

由 7(x) 的 一 阶 Taylor 展开 式 

f(t tad') = f(t)+a Vr) Td +o( lad |) 


可 知 , 当 4 与 VA(*) 接 近 于 正 交 时 ,Vf(x*)Tdt* 接近 于 零 ,这 时 f(x) 下 降 很 少 . 
所 以 ,为 了 保证 函数 值 在 闪 +1 处 充分 下 降 ,要求 选择 远离 与 Vf(xx) 正 交 的 方向 . 
用 4 表示 d 与 一 Vf(x*) 之 间 的 夹 角 , 即 
— Vi (x Ta 
WAIREAN 


则 要 求 d* 满足 条 件 :存在 去 > 0, 使 得 


cos 一 


4 入 各 一 二 YA (2.3.1) 


前 面 讨论 的 下 降 算法 是 一 类 迭代 方法 , 即 从 任意 的 初始 点 xo) 出 发 ,构造 出 
点 列 {z| ,并 满足 
fx) > COxe) k=1,2,. 


但 这 个 条 件 并 不 能 保证 序列 |} 达 到 或 收敛 到 无 约束 问题 的 最 优 解 . 
所 谓 收敛 ,是 指 序列 | 六 1 或 它 的 一 个 子 列 (不 妨 仍 记 为 1z}) 满 足 
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limx: = x",， (2. 3.2) 
Pe 


这 里 x* 是 无 约束 问题 的 局 部 解 但 是 ,通常 要 获得 (2. 3. 2) 式 这 样 强 的 结果 是 很 
困难 的 ,往往 只 能 证 明 ix 的 任 一 聚 点 是 稳定 点 ,甚至 只 能 得 到 更 滋 的 结果 . 

车 对 于 某 些 算法 来 说 ,只 有 当初 始点 靠近 极 小 点 x" 时 ,才能 保证 序列 
| 并 1 收敛 到 x , 则 称 这 类 算法 为 局 部 收 伊 . 反之 , 若 对 任意 的 初始 点 ,产生 的 
序列 [| 收敛 到 x" , 则 称 这 类 算法 为 全 局 收 全 

定理 2.3.1 设 W(x) 在 水 平 集 L(z?) = |x| f(x) < /(xe)| 上 存在 且 一 致 
连续 ,下 降 算法 的 搜索 方向 d* 与 一 Vf( 并 ) 之 间 的 夹 角 满足 (2. 3. 1) 式 , 步 长 
a 由 以 下 3 种 方法 : 

(1) 精确 线性 搜索 ; 

(2) Glodstein 方法 ; 

(3) Wolfe-Powell 方 法 
之 一 确定 , 则 或 者 对 某 个 ,有 VW( 江 ) 一 0, 或 者 有 f(x) 一 一 oo(koo) ,或 者 
有 W(x) >0(k> co) 

证 明 《1) o 由 精确 线性 搜索 确定 . 

假定 对 所 有 的 ,W(x*) 了 0，f( 汪 ) 有 下 界 .由 于 |/(x) | 是 单调 下 降序 列 ， 
故 有 极限 存在 ,因而 

f(xw)— f(r) 一 0. (2. 3.3) 

记 && 一 W(z) ,假定 & 一 0 不 成 立 , 则 存在 常数 e> 0 和 子 列 j 愉 | (为 了 简便 ,不 
纺 仍 记 子 列 为 { 江 |) ,使 得 1 8 1 之, 从 而 


—(g)Td/ladl = lelcosd > lel cos(F -7)> esinz =e. 


又 
f(x +ad*) = f(x)+ag(é:) Td: 
= f(x)+a(g)Td +a(g(6:) — g*)ad: 
f(x)+aladl((s) Ta/ al + le(e) ~ gl), 
(2.3.5) 


其 中 单一 玫 十 dt(0<<9<1). 由 于 &(x) = W(x) 在 水 平 集 L(x*) 上 一 致 连 
续 , 故 存在 z, 使 得 当 al| ad <a 时 ,有 


le(6) 一 有 上 < Be (2.3.6) 
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所 以 ,由 (2. 3.4) 一 (2. 3.6) 式 ,有 
j (十 ET 本 所 T )<7) +a{(e)ra Lar 十 过 < Ge) 一 二 ze 


又 由 a 是 由 精确 线性 搜索 确定 可 知 
f(x ) = f(x +ad*) 


</(* +a TT) 


< (Cn) 一 二 ae 


这 与 (2. 3. 3) 式 矛盾 ,从 而 有 g* 一 0. 
(2) as 由 Goldstein 方法 确定 . 
利用 Goldstein 方法 ,选取 a, > 0, 满足 


0<—pmg) dS f(x)— fH) SS— og') dt, 


其 中 0 过 <p 过 a 过 1 (通常 取 jE(0, 0.5), oc€ (0.5, 1)). 
假定 对 所 有 的 ,Vf(x*) 关 0, f(x*) 有 下 界 , 故 


f(x)— f(x ) -0. 
令 估 一 xz 一 对 一 aid' ,由 Goldstein 方法 的 左 端 不 等 式 及 上 式 ,有 
0 <— mg’)"d: =—p(g')"6: < f(x:)— f(xt) 一 0. 


由 此 可 得 一 (g*)"6* 一 0. 
假定 g* ~ 0, 与 精确 线性 搜索 的 情况 完全 相同 ,存在 一 个 e > 0 和 一 个 子 列 
内 | 使 得 ‖g* 中 宇 e. 从 而 


— (8)"6 = lg I6: lcost >el6 sin (2.3.7) 
由 一 (g*)"6* 一 0, 立即 可 得 | 6: | 一 0. 由 中 值 定理 得 


f(x ) = fx) +ag(€:)Tdt 
= f(x:)+g(8)"6, 


其 中 如 二 忆 十 qid*(0 < 之 9 之 1). 由 W(x) 的 一 致 连续 性 可 知 , 当 6:-x0 时 ,g(&*) 
一 致 地 趋 于 g*, 故 


fx) = fx)+(g)T6 +o( le). 
于 是 , 当 k>co 时 ,有 
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Fe) 一 Fen) ,1 
一 (7 


这 与 Goldstein 方法 的 右 端 不 等 式 
f(s)— fx") SC— ag) Td 


相 了 矛盾 ,从 而 有 g* 一 0. 

(3) as 由 Wolfe-Powell 方法 确定 . 

Wolfe-Powell 方法 的 (2. 2. 2) 式 与 Goldstein 方法 的 左 端 不 等 式 相 同 , 故 
有 一 (8')"6* 一 0. 

假定 时 > 0, 则 由 (2.3.7) 式 可 知 ‖ 6 一 0. 由 g(x) 的 一 致 连续 性 ,有 

《878 一 (g*)'6* +o( 6 |), 
故 有 
(8 )T6/(g') 2 —1. 
这 与 Wolfe-Powell 方法 的 (2. 2. 3) 式 , 即 与 
(8 )T8A(8) < 坟 c 一 1 


相 了 矛盾, 因此 有 g* 一 0， 口 
如 果 算法 产生 的 序列 | 类} 虽然 收敛 到 x ,但 收敛 得 太 慢 ,以 致 于 在 计算 机 
允许 的 时 间 内 仍 得 不 到 满意 的 结果 ,那么 ,这 类 算法 也 称 不 上 收敛 . 因此 ,算法 的 
收敛 速率 是 一 个 十 分 重要 的 问题 . 
这 里 简单 地 介绍 一 个 收敛 速率 的 有 关 概 念 . 
设 序列 | 只 | 收敛 到 x”, 若 极限 
ae 因 
a = 
存在 , 则 当 0 过 8 过 1 时 , 称 { 闪 | 为 线性 收敛 ; 当 B= 0, 称 {x} 为 超 线性 收敛; 当 
Bh 三 1 时 , 称 {x 为 次 线性 收敛 ,因为 次 线性 收敛 的 收敛 速度 太 慢 , 一 般 不 予以 
考虑 . 
若 存 在 某 个 p 宇 1, 有 


me 
Tr <+e, 
则 称 { 尖 1 为 阶 收 全 当 思 二 1 时 , 阶 收 全 必 为 超 线 性 收敛 ,但 反之 不 一 定 成 立 . 
在 最 优化 算法 中 ,通常 考虑 线性 收 剑 、 超 线性 收敛 和 二 阶 收敛 说 一 个 算法 
是 线性 ( 超 线性 或 二 阶 ) 收 剑 的 ,是 指 算法 产生 的 序列 (在 最 坏 情况 下 ) 是 线性 ( 超 


42 最 优化 基础 理论 与 方法 


线性 或 二 阶 ) 收 敛 的 . 
另外 一 个 判定 算法 优 劣 的 标准 是 其 是 否 具有 二 次 终止 性 ， 
定义 2.3.1 设 G 是 zXz 正 定 对 称 和 矩阵 , 称 函数 


f(x) = 去 zTGe + rixte 


为 正定 二 次 函数 . 
定义 2.3.2 若 某 个 算法 对 于 任意 的 正定 二 次 函数 ,从 任意 的 初始 点 出 发 ， 
都 能 经 有 限 步 迁 代 达 到 其 极 小 点 , 则 称 该 算法 具有 二 次 终止 性 . 
为 什么 用 算法 的 二 次 终止 性 来 作为 判定 算法 优 劣 的 标准 呢 ? 其 原因 有 二 : 
(1) 正定 二 次 目标 函数 具有 某 些 好 的 性 质 , 因 此 一 个 好 的 算法 应 能 够 在 有 
限 步 内 达到 其 极 小 点 ; 
(2) 对 于 一 个 一 般 的 目标 函数 , 若 在 其 极 小 点 处 的 Hesse 矩阵 Ver(x* ) 正 
定 , 则 由 Taylor 展开 式 得 到 
f(x) = f(x ) 十 VFCz )T(x 一 x) 十 二 (x )T Vif(x" )(x—x' )+ 
o( lx—x* ||*), 
即 目标 函数 f(x) 在 极 小 点 附近 与 一 个 正定 二 次 函数 相近 似 , 因 此 可 以 猜想 :对 
于 正定 二 次 函数 好 的 算法 ,对 于 一 般 目 标 函数 也 应 具有 较 好 的 性 质 . 
因此 ,我 们 用 算法 是 否 具有 二 次 终止 性 来 作为 一 个 算法 好 坏 的 评价 标准 , 即 若 


算法 具有 二 次 终止 性 , 则 认为 其 是 好 算法 ;否则 认为 算法 的 计算 效果 较 差 . 二 次 终止 
性 是 一 个 很 重要 的 性 质 ,后 面 将 要 讲 到 的 许多 无 约束 优化 算法 总 是 根据 它 设计 的 . 


司 题 二 


2.1 检验 函数 /(x) 一 100(z: 一 开 )” 十 (1 一 在 x” = (1, 1)7 处 有 V(x*) = 0， 
f(x ) 为 正定 ,从 而 x" 为 极 小 点 .证 明 Vif(x) 为 奇异 当 且 仅 当 zs 一 志 一 0.05, 从 而 
证 明 对 所 有 满足 f(x) < 0. 002 5 的 x， V(x) 是 正定 的 . 

2.2 求 出 函数 f(x) 一 2 十 如 一 2z1zxs 十 2 十 zt 的 所 有 平稳 点 , 问 哪些 是 极 小 点 ?是 否 为 
全 局 极 小 点 ? 

2.3 判定 = ( 言 , 于) 是 否 为 f(x) = 一 tn(1 一 一) 一 In zh 一 Inz 的 局 部 解 ? 是 否 
为 全 局 解 ? 

2.4 设 

f(x) 一 于 srGe 十 mx 二 8 
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是 正定 二 次 函数 ,证 明 一 维 问题 
min$(a) = f(x +ad*) 
的 最 优 步 长 为 
CT 
Gd 
考虑 问题 min{ga) = (ae 十 1)?| , 取 初 始点 jm 二 0, 步 长 a = 0.2, 用 确定 搜索 区 间 的 进 
退 法 求 出 和 ja， pz， pet. 
用 0.618 法 , 求 f(z) = zz 一 3zx 十 5 在 [1, 2] 上 的 极 小 点 , 取 控制 误差 e = 0.05. 
写 出 Armijo 方法 的 计算 步骤 . 
写 出 Wolfe-Powell 方法 的 计算 步骤 . 
设 几 一生 ,过 一 2 夫 一 好 ,而 蕊 一 地 (0<a<<1), 证 明 : 
(1) 序列 ww 的 收敛 阶 为 1 ,但 不 是 线性 收敛 ; 
(2) 序列 or 线性 收敛 , 且 收敛 阶 为 1. 
(3) 序列 ar 超 线性 收敛, 且 收敛 阶 为 1. 
(4) 序列 z 二 阶 收敛 . 


2.10 分 别 判定 序列 5 = (十 ) ;= 二 ;一 (二)” 的 收敛 速率 ,其 中 让 一 1，2，…. 
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83.1 最 速 下 降 法 


最 加 下 降 法 是 求解 无 约束 最 优化 问题 最 早 使 用 的 方法 之 一 . 它 是 现代 优化 
方法 的 基础 ,许多 求解 无 约束 问题 的 现代 方法 都 是 在 这 种 方法 基础 上 或 在 其 启 
发 下 建立 起 来 的 . 

假设 我 们 要 考虑 的 无 约束 规划 问题 为 


minf(x), f EC', 


ER 


其 中 C: 表示 一 阶 连续 可 微 函 数 的 全 体 . 


$3.1.1 最 速 下 降 法 的 思想 
设 在 第 & 步 得 到 一 个 点 x**, 目 标 函数 f(x) 在 六 附近 连续 可 微 , 且 Vf(x*) 
天 0. 将 f(x) 在 x* 处 按照 Taylor 级 数 展开 


f(x) = f(x)+ V(x) (x ox)+o( lx ox | ), 
记 x 一 尖 三 ad*, 其 中 a 二 0,d* 是 一 个 确定 的 方向 向 量 .上 式 可 以 写 为 
f(x +ad*) = f(x)+aVi(x)Td +o( lad* | ). 


易 知 , 若 向 量 必 满足 VA(x*)"d* 一 0, 则 da* 是 函数 f(x) 在 x* 处 的 下 降 方向 ,并 
且 在 所 有 满足 W(x*)"d <<0 的 方向 d 中 , 若 VA(x*)"d 越 小 , 则 f(x) 下 降 的 幅度 
就 越 大 . 

如 果 将 上 式 写 成 


f(x tad') = f(x)—a(— V(r) Tad:)+o( ad: | )， 
可 知 一 VA(x*)"a* 越 大 , 则 f(x) 下 降 的 幅度 就 越 大 . 由 
—V(x)ad = | —Vvi(x)l lla:lecost, 
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其 中 % 是 向 量 一 VA(x*) 与 向 量 d* 之 间 的 夹 角 . 可 知 , 当 a 固定 时 , 取 % = 0, 也 
即 取 d* = 一 V(xw) 时 ,一 Vf(x*)"d* 达到 最 大 值 一 Vf(x*) 中 中 4 中 .因而 
了 f(x) 在 点 ** 处 下 降 的 幅度 最 大 . 故 取 搜索 方向 d* = 一 V(x), 相应 的 方法 称 为 
最 速 下 降 法 ,其 迭代 格式 为 


x 二 十 axd*， 
ax 由 线性 搜索 确定 . 


$3.1.2 最 速 下 降 法 的 具体 步骤 

最 速 下 降 法 的 具体 步骤 如 下 : 

(1) 选 定 初始 点 阅 和 给 定 精度 要 求 e > 0, 令 k= 1. 

(2) 若 上 V(x*) < 天 e, 则 停 ,x”= x*; 否则 , 令 玫 一 一 VF(z). 

(3) 在 兰 处 沿 方向 d* 作 线 性 搜索 ,得 x 一 业 十 ard*,: 二 十 1, 转 步 
骤 (2). 

若 在 第 (3) 步 中 ,采用 精确 线性 搜索 , 即 

ak = argmin f(x* + ad’*), 
就 有 
df(x' +ad’) | = (dt)T V(r) = 0. 


da 


此 式 表明 必 与 da**' 是 正 交 的 . 
例 3.1.1 用 最 速 下 降 法 求解 无 约束 问题 


2 
min (f(x) = 好 + 有 s ， 


取 初 始点 x 一 (2，1)7. 
解 由 于 
V(x) = (z1, 272)", 
因此 , V(x ) = (2, 2)", 取 d= 一 W(x') = (一 2, 一 2)7, 作 一 维 搜索 :构造 
元 函数 


$(a) = f(x +ad') = 2(1—a)’+(1—2a)’, 
求 导 得 
#$(a) =—4(1—a)—4(1—2a). 
解 方程 多 (a) = 0, 得 最 优 步 长 
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从 而 
娠 一刀 十 ad 
= (2, DT+ 邹 (一 2, 一 2)7 

2 1 
( 却 ， 3) 
再 进行 下 一 次 迭代 ,得 到 


+ 一, >). 


如 此 作 下 去 ,可 得 


2 (一 1 
wn #, 扎实 ) 


当 A~co 时 ,惟一 (0，0)7 ,得 到 无 约束 问题 的 最 优 解 . 


§3.2 Newton 法 和 
Newton 法 的 基本 思想 是 利用 二 次 近似 多 项 式 的 极 值 点 求法 给 出 原 函数 的 
极 值 点 的 求法 . 本 节 考 虑 如 下 无 约束 问题 


min f(x), x € R", 
其 中 f(x) 是 二 次 可 微 的 . 


(3.2.1) 


§3.2.1 Newton 法 的 思想 
设 x" 是 (3.2.1) 式 的 局 部 解 , 则 x* 满足 


Vf(x) = 0. (3.2.2) 
解 方程 组 可 得 优化 问题 (3. 2. 1) 的 解 . 但 是 该 方程 组 一 般 是 非 线性 方程 组 ,不 易 
求解. 


选取 初始 点 人 (作为 x" 的 第 一 次 近似 ) ,在 所 处 按照 Taylor 级 数 展开 , 取 
二 次 近似 多 项 式 


FO fl ) HY) ee ) +t) Ve) (ri). 


(3.2.3) 
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令 近 似 二 次 函数 的 导数 为 零 ,得 
Vr) + VA ) xr) 一 0. (3.2.4) 
当 V3f(x' ) 是 非 奇异 矩阵 时 ,求解 线性 方程 组 (3. 2. 4) 得 到 
=x [V(x)] V(x'), 
作为 x" 的 第 二 次 近似 . 
注意 ,该 方法 只 有 f(x) 在 展开 点 处 的 Hesse 矩阵 V:f(x! ) 非 奇异 时 才 可 以 
使 用 ,同时 看 到 ,我 们 用 的 是 二 次 近似 多 项 式 . 
如 果 x 的 精度 不 够 ,可 以 在 x? 处 将 f(x) 展 开 , 求 出 近似 二 次 函数 的 极 值 
点 六 ,如 此 下 去 ,可 以 得 到 点 列 x* ,并且 满足 迭代 公式 


2 一 一 [VD Vx), (3.2.5) 
称 (3. 2. 5) 式 为 Newton 和 迭代 公式 . 为 了 计算 方便 ,将 (3. 2. 5) 式 改写 成 
w= 十 dt:， (3.2.6) 


其 中 d* 是 线性 方程 组 
Vif(x:)d =— V(x') (3.2.7) 
的 解 向 量 . 通常 称 (3. 2.7) 式 为 Newton 方程 . 
按照 Newton 算法 ,得 到 的 点 处 的 梯度 的 长 度 逐 渐 趋 于 等 ,以 至 于 到 数 步 
后 ,满足 精度 要 求 . 


$ 3.2.2 Newton 法 的 步骤 

由 上 述 分 析 ,得 到 如 下 算法 . 

算法 3. 2. 1(Newton 法 ) (1) 取 初 始点  , 置 精度 要 求 s, 置 上 一 1. 

(2) 如 果 | Vx) 之。, 则 停止 计算 (xx 作为 无 约束 问题 的 解 ); 否 则 , 求 
解 线性 方程 组 

Vf(x)d =— V(x:), 

得 到 a. 

(3) 置 

= 十 :二 尺 十 1， 

转 步 骤 (2). 


下 面 给 出 两 个 例子 , 对 第 一 个 例子 , 由 于 目标 函数 是 二 次 多 项 式 , 故 
Newton 法 的 选 代步 又 只 有 一 步 即 结束 . 而 对 第 二 个 例子 ,由 于 目标 函数 是 三 次 


48 ”最 优化 基础 理论 与 方法 


多 项 式 ,是 一 个 非 凸 函数 ,因此 一 般 不 会 得 到 精确 的 最 优 解 . 
例 3.2.1 用 Newton 法 求解 无 约束 问题 


min|f(x) 一 忆 十 好 十 zz 十 2z 一 3zzj， 


取 初 始点 x 一 (0，0). 
解 f(x) 在 初始 点 处 的 梯度 为 


V(x') = (2, —3)"; 
f(x) 在 初始 点 处 的 Hesse 矩阵 为 


21 
we) =[ 让 


解 线性 方程 组 Vf(x')d = 一 Vf(x'), 即 
(lel 
1 2Jlal | sp 


RA 
= (di, di)" = (也, 沁 


所 以 
=rt+d = (0,0)"+(- 了 ， 3). 


因为 V(x) 1 = 0, 所 以 (一 也 ,号 ) 为 无 约束 问题 的 解 


例 3.2.2 用 Newton 法 求解 无 约束 问题 
min f(x) 一 4z + zi — zx!z;, 


分 别 取 初 始点 za 二 (1, 1)7，xs 二 (3, 4)", xc 二 (2, 0)7 ,精度 要 求 e == 10-:， 
解 
V(x) = (8z — 2z172, 2x2 — zx?)T, 
8 一 2z: = 


Vif(x) = 
in 


(1) 取 x = x4 二 (1, 1)", 得 到 


Wom T Vzrtry 一 6 
V(x') = (6, 1)7， Vf(x') (2 引 
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解 线性 方程 组 
Vif(x')d =— V(x'), 


(sa) 


得 到 di = 一 1.75, d: = 一 2.25, 即 中 一 (一 1.75, 一 2.25)7. 所 以 


即 


=n+d = (1,1)'+(~—1.75,—2.25)7 = (一 0.75, 一 1.25)7. 


再 进行 第 二 轮 计 算 , 经 过 5 次 迭代 ,x* 收敛 到 问题 的 极 小 点 x 一 (0，0) ， 


见 表 3. 2. 1. 
表 3.2.1 = (1,1)7 的 计算 结果 


k f(x) Vx) lV) Vi/(x) 
1.0000 6.0000 6.0000 一 2.0000 
4.0000 6.0928 
1.0000 1.0000 一 2.0000 2.0000, 
一 0.7500 一 7.8750 10.5000 1.5000 
2 4.5156 8.4495 
一 1.2500 一 3.635 0 1.5000 2.0000 
一 0.1550 一 1.2911 8.3300 0.3100 
0.127 3 1.3388 
一 0.165 0 一 0.354 0 0.3100 2.0000 
一 0.0057 一 0.045 9 8.0222 0.0115 
0.0003 0.0511 
一 0.011 1 一 0.022 3 0.0115 2.0000 
0.0000 一 0.0001 8.0000 0.0000 
0.0000 0.0001 
0.000 0 —0.0000, 0.0000 2.0000 


以 上 所 得 各 点 处 的 Hesse 矩阵 都 是 保持 正定 的 ,可 见 收敛 点 x = (0, 0)7 是 
极 小 点 . 

(2) 取 江 一 x 一 (3，4)" ,计算 步骤 同 (1) ,最 后 志 收敛 到 (2VZ， 4)7, 此 点 
是 目标 函数 的 鞍点 ,计算 结果 见 表 3. 2. 2. 

(3) 取 x 一 xc 一 (2，0)", 得 到 Vif(x') -| 


法 进行 下 一 步 计算 . 


外 Hesse 矩阵 奇异 ,无 
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表 3.2.2 x 二 (3, 4)7 的 计算 结果 
k 忆 f(x) Vr) Vr) Vif(x) 


.0000 0.0000 0.0000 一 6.0000 
| 16.0000 | | 1.0000 | 


一 1.0000 一 6.0000 2.0000 


2.833 3 0.0000 0.0000 一 5.6667 
| | 16.0000 | | 0.0278 | 


4.0000 一 0.207 8 一 5.666 7 2.0000 

2.8284 0.0000 0.0000 一 5.656 9 
16.0000 0.0000 

4.0000 0.0000, 一 5.656 9 2.0000 


例 3. 2. 2 表明 ,用 Newton 法 求解 无 约束 问题 会 出 现 以 下 情况 ， 

(1) 收敛 到 极 小 点 ; 

(2) 收敛 到 鞍点 ; 

(3) Hesse 矩阵 奇异 ,无 法 继续 计算 . 

利用 Newton 法 求解 最 优化 问题 ,其 优点 是 收敛 速度 快 ,但 是 , 它 的 缺点 是 
每 一 步 不 能 保证 目标 函数 值 总 是 下 降 的 , 且 当 Hesse 矩阵 奇异 时 无 法 计算 ,所 
以 还 要 有 其 他 相关 的 修正 算法 . 


§3.3 共 斩 梯 度 法 


共 轿 梯度 法 是 用 来 求解 正定 二 次 规划 的 一 种 优化 方法 , 它 具有 下 述 性 质 : 
(1) 产生 的 搜索 方向 是 下 降 方 向 ; 

(2) 不 必 计 算 Hesse 和 矩阵 ,只 计算 目标 函数 值 和 梯度 ， 

(3) 具有 二 次 终止 性 . 


$3.3.1 正 交 方向 和 共 亏 方向 
首先 考虑 一 类 特殊 的 正定 二 次 函数 


jz) = 二 mrxz 十 rrx 十 8 (3.3.1) 


其 中 x 二 (zo) TT 二 (ni, 7，… 7.)TE R", 8 E€ R. 这 种 正定 二 
次 函数 可 以 看 成 如 下 形式 的 变量 分 离 的 函数 


f(x) 一 万 (z) 十 户 (za) 十 … 十 大 (za)， 
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其 中 f(z;) 一 tnt 1, 2, …, nn), 则 从 任意 一 点 x! 出 发 ,依次 沿 


着 每 个 坐标 轴 方 向 进行 一 维 搜索 ,进行 一 遍 ( 共 进行 n 次 搜索 ) 以 后 ,就 能 得 到 
min f(x) 的 最 优 解 ,因为 进行 一 次 线性 搜索 可 求 得 一 个 函数 的 最 小 值 ,其 他 孙 
数 的 值 保 持 不 变 . 

这 里 VA(x) = x 十 r, 令 VA(x) = 0, 得 f(x) 的 极 小 点 x” = 一 +, 由 f(x) 在 
x" 的 Taylor 级 数 展开 式 得 到 


f(x) = Jr ) 十 去 (ze 一 x)T(z 一 x) 
(3.3.2) 
= f(x) 十 二 上 x 一 x 由 


(3. 3.2) 式 表明 ,f(x) 的 等 高 面 是 一 族 ( 超 ) 球 面 . 特别 地 , 当 n = 2 时 ,其 等 高 线 
是 一 族 圆 . 任 取 初始 点 x' 沿 两 个 相互 正 交 的 方向 进行 精确 一 维 搜索 ,得 到 点 
x 二 x”, 即 为 问题 的 最 优 解 . 

当 n==3 时 ,有 类 似 的 结果 . 设 qi ,gq?, gq’ 是 3 个 相互 正 交 的 非 零 向 量 , 则 任 
取 初 始点 x ,依次 沿 它们 进行 精确 一 维 搜索 ,达到 极 小 点 x' = x* . 特别 注意 :x 
是 f(x) 沿 方向 gq' 生成 的 直线 上 的 极 小 点 ,x 是 f(x) 过 x 由 iq' ,gq*| 张 成 的 平 
面 x* 上 的 极 小 点 ,x 是 整个 空间 上 的 极 小 点 . 


现在 将 上 述 结果 推广 到 n 维 情 况 . 
定义 3.3.1 若 R" 中 (k 之 nn) 个 向 量 q', gq?,…, qt 两 两 正 交 , 即 
(g',9)=0,iz#j,1<i,j<h, (3.3.3) 
则 称 它们 为 个 正 交 方向 ; 若 又 满足 
q #0,i=1,2,.…,k, (3.3.4) 


则 称 为 个 非 零 正 交 方向 . 
定理 3.3.1 设 目标 函数 为 


f(z)= 二 rt 


9 ，，… ,4 是 & (kn) 个 两 两 正 交 的 非 零 向 量 . 从 任意 初始 点 如 出 发 ,依次 
沿 9 ,gqg*,，… ,qt* 作 精 确 一 维 搜索 ,得 到 x， x ，…, x , 则 +1 是 f(x) 在 仿 
射 集 


. 
X=|lx=x+ Dlg | ER,i=1,2,.…,k| (3.3.5) 
各 
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上 的 唯一 极 小 点 .特别 地 ,当天 一 二 时 , 蕊 + 是 f(x) 在 整个 空间 上 的 唯一 极 小 点 . 
证 明 由 于 f(x) 是 特殊 的 正定 二 次 函数 , 它 在 仿 射 集 X: 上 有 唯一 极 小 点 


*, 且 满 足 
(VI(£*), gq) =0,i=1,2,.%,k, (3.3.6) 


注意 3* 是 仿 射 集 * 上 的 点 , 存在 (i 一 1, 2, …,&), 使 得 
dg (3.3.7) 


因此 得 到 
4 
VR) 一 Rt+r=x+rti+ lg. 
各 
由 (3. 3. 6) 式 得 到 
4 
(n+r+ DB) aq)Tg =0,i=1,2,.,k, 


即 
(x +r) "gt+ eilg ll’ =0,i=1,2,.,k. 
所 以 


人 (3.3.8) 
另 一 方面 , 按 定理 条 件 得 到 
ee 

其 中 ai 为 最 优 步 长 ,经 验算 可 得 

NN 
i 

于 SY hr 
Se TCF 十 r 十 0) g 


一 一 Te 2 


与 (3. 3.8) 式 相同 , 即 x+ 一 下 4 
下 面 考虑 一 般 正定 二 次 函数 


f(x) = Gr + rirto, (3.3.9) 
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其 中 G 是 正定 矩阵 . 

对 于 形 如 (3. 3. 9) 式 的 二 次 函数 ,要 适当 选取 R" 的 一 组 基 {p' ,…, p"|， 
使 得 p' 满足 条 件 

(p')'Gp’ = 0 (i#)). 

用 线性 代数 的 知识 保证 可 以 作 适 当 的 变量 替换 ,f(x) 就 可 以 成 为 变量 分 离 的 形 
式 ,于 是 ,从 任何 一 个 初始 点 x* 出 发 ,分 别 沿 每 个 方向 p' 作 线 性 搜索 ,经 过 一 轮 
后 ,就 能 得 到 最 优 解 . 我 们 把 满足 上 面条 件 的 维 方向 称 为 是 G 共 轿 的 、 

定义 3.3.2 设 G 是 n Xn 正定 矩阵 . 若 d', d? 满足 


(d')TGd’* = 0, (3. 3.10) 
则 称 ,qd? 关于 CG 共 斩 . 若 四 ， 导 ，…, d*(k 之 nn) 两 两 关于 G 共 瑟 , 即 
(d)'Gd’ = 0, i#j,i,j=1,2,.%,k, (3.3.11) 


则 称 ,4 ，…, (上 k 志 nn) 为 G 的 k 个 共 思 方 向 .车 d' 关 0 (i==1,2,…, 此 )， 
则 称 为 G 的 & 个 非 零 共 圈 方向 . 特别 , 当 G = 工时 , 共 斩 方 向 就 是 正 交 方 向 . 

由 共 思 方 向 的 几何 意义 ,可 以 把 定理 作 如 下 推广 . 

定理 3.3.2( 扩 展 子 空间 定理 ) 设 目标 函数 为 


f(x)= 到 erGr 十 rTY 十 人 


df，…,d* 是 G 的 & (<m 个 非 零 共 斩 方 向 ,从 任意 的 初始 点 如 出 发 , 依 
次 沿 di 关 0 (一 1， 2,…,&), 作 一 维 精 确 搜 索 ,得 到 x?， x ，… ,x+ , 则 xt 
是 f(x) 在 仿 射 集 


, 
X={x=x + Dad'ila ER,i=1,2,..,k} 
名 


上 的 唯一 极 小 点 .特别 , 当 = 二 n 时 ,x*1 是 /(x) 在 整个 空间 上 的 唯一 极 小 点 . 
证 明 因为 G 是 正定 矩阵 ,存在 正定 矩阵 C, 使 得 G = CrC, 那么 


f(D) = 二 Gx 十 mx 十 一 二 (Gr)rCe 十 rrCaCe 十 8 
令 ?= Ce, 地 = rrC-, 则 
(ar) = a(y) 一 去 77? 十 Fy 十 人 


由 定理 3. 3. 1 可 知 ,存在 (4 < ) 个 两 两 正 交 的 非 零 向 量 g' ,gq? ，…,，4+ ,使 得 
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目标 函数 g(y) 依 次 沿 着 这 些 方向 进行 一 维 搜索 得 y” ,使 g(y" ) 达 到 最 小 值 . 这 
时 ,我 们 再 令 d 二 C7g (i 二 1,2,…,), 则 由 (g')"q’ 二 0 得 (d')"C'Cd’ 一 0， 
即 (4)7rGd = 0, 即 由 ,4d?,…, d* 关于 G 是 非 零 共 辆 向 量 . 而 令 x” = Cy*， 
则 f(x) 在 x"* 取 到 最 小 值 f(x* ) = g(y" ). 
推论 3.3.3 在 定理 3. 3.2 的 假设 下 ,有 
(Vf(x'™), d') = 0,i=1,2,.,k. (3. 3.12) 


证 明 因为 **" 是 仿 射 集 X* 上 的 极 小 点 ,所 以 也 是 d' 方 向 上 的 极 小 点 , 因 
此 (3. 3. 12) 式 成 立 . 


$3.3.2 共 恩 梯度 法 的 推导 
共 配 梯度 法 (conjugate gradient mehtod) 是 将 共 斩 方 向 方法 与 梯度 方法 ( 即 
最 速 下 降 方法 ) 结 合 起 来 考虑 的 一 种 优化 算法 . 
设 
f(x) = 到 xTGr 十 rrx 十 2 


其 中 G 是 正定 矩阵 . 由 扩展 子 空间 定理 可 知 , 若 中, d?,…, d" 为 n 个 G 共 四 方 
向 ,那么 从 任意 的 初始 点 x!' 出 发 ,至 多 作 次 精确 一 维 搜索 ,就 可 以 得 到 目标 函 
数 唯一 的 极 小 点 . 根据 这 一 思想 导出 对 于 正定 二 次 函数 的 共 斩 梯 度 法 . 

任 取 初始 点 x*. 若 VA(x') = 0, 则 停止 计算 ,z 作为 无 约束 问题 的 极 小 点 . 
车 Vi(x') 关 0, 则 令 


qd =— Vf(x'), 
沿 di 方向 进行 一 维 搜索 得 到 点 民 , 若 V(x) 关 0, 则 令 
d? =— V(x)+pd', (3. 3.13) 
并 且 使 ,qd? 满足 
(a )'Gd’ = 0, (3.3.14) 


即 中，d 关于 G 共 纯 .将 (3.3.13) 式 代入 (3. 3. 14) 式 ,可 得 到 民 的 表达 式 : 
B= (4 GY) 
aja 
将 此 结果 带 入 (3. 3. 13) 式 ,这 样 得 到 的 d? 是 与 四 关于 G 共 思 的 . 再 从 x 出 发 ， 
沿 中 作 一 维 搜索 ,得 到 于 ,如 此 下 去 …… 假 设 在 坟 处 , Vf(x*) 闫 0, 构造 江 处 
的 搜索 方向 d* 如 下 : 
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名 
全 =— V(x)+ > pid (3.3.15) 


下 面 来 确定 系数 Bt (i 一 1，2,…, 一 1). 因为 要 求 构造 的 搜索 方向 是 关于 G 
共 力 的 , 即 满足 
0= (a)'Ga* 
=—(d) GV )+ Spt(a)rGa 


=—(d') GV/(x)+B(d)TGd', i=1,2,.…,k—1, 
所 以 
pr= (dGV) 
(d')"Gd’ 

将 它 带 入 (3. 3.15) 式 ,得 到 的 d* 是 与 由 , d? , …, d*' 关 于 G 共 思 的 . 又 由 推导 
过 程 可 知 ,前 面 已 得 到 的 搜索 方向 办, d?,…, d*! 已 是 G 的 4 一 1 个 共 斩 方 向 ， 
所 以 ,d',d?,…, d* 是 G 的 & 个 共 斩 方 向 . 

由 扩展 子 空间 定理 可 知 , 当 二 nn 时 ,得 到 n 个 非 零 的 G 共 思 的 方向 ， 
x “为 整个 空间 上 的 唯一 极 小 点 . 


$3.3.3 计算 公式 的 简化 

由 于 d 的 表达 式 中 第 一 项 是 相应 点 处 的 负 梯度 , 它 要 与 后 面 点 处 的 梯度 作 
内 积 ,因此 利用 这 个 特点 可 以 简化 计算 公式 . 

由 于 构造 的 搜索 方向 是 非 零 的 G 共 二 方向 ,因此 由 推论 3. 3. 3, 得 到 


V(x¥)Td’ =0,i=1,2,.%…,k—1. 
结合 (3. 3.15) 式 ,有 
Vx) V(x') 

= W(x)" (d+pid+.…+pBi,d™) 

=0,i=1,2,.…,k—1. 
下 面 计算 所 (i = 1, 2,…,& 一 2). 为 了 方便 起 见 ,引进 记号 

sx—r=ad', (3.3.16) 

其 中 w 是 一 维 搜索 的 最 优 步 长 . 所 以 

G = Gr —Gr’ = V(r") — V(x). 
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由 (3. 3.16) 式 ,有 
(d)TG Vx) = Wx) Gd 
= 1 wx)'Gs 


= VT Ve" ) — Wx)) 


=0,i=1,2,.…,k—2. 
因此 


故 (3. 3. 15) 式 可 以 写成 
d: 一 一 VF( 队 ) 十 Rd ， 


(此 时 不 要 及 -, 的 上 标 ) 其 中 


= (4d) "GV/(x') 
ke (d'™' )TGd* :3 


再 简化 &-, ,类 似 于 (3. 3. 17) 式 的 推导 过 程 , 可 以 得 到 


(a GV) = a WV) — We)), 


1 


(dd Gd = Zr ) VAX) — Vr)). 
1 


再 注意 到 推论 3. 3. 3, 有 
(dT (VX) — V(x)) =— (ad )T Vx) 
= (Vf(x* TD) — Bad?)" VC) 
Wa I mA, 
所 以 


Bs = YE)T (V(x) — Vx)) 
VAY)  ” 


B= VY) 
| vA ) 


(3.3.17) 


(3. 3.18) 


(3.3.19) 


这 样 ,就 得 到 了 用 于 一 般 可 微 函数 的 共 二 梯度 法 . 其 搜索 方向 构造 如 下 : 
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中 =— Vf(x'), 
下 =— Vf/(x) 十 Rd 


由 (3. 3. 19) 式 和 (3. 3. 20) 式 构造 的 计算 公式 称 为 Pulak-Ribiere-Polyak(PRP) 
公式 ,相应 的 方法 称 为 PRP 算法 . 由 (3. 3. 18) 式 和 (3. 3. 20) 式 构造 的 公式 称 为 
Fletcher-Reeves(FR) 公 式 , 相 应 的 算法 称 为 FR 算法 . 

FR 算法 (或 PRP 算法 ) 步骤 如 下 : 

(1) 取 初 始点 x' , 置 精度 要 求 e, 置 k= 1. 

(2) 如 果 ‖ VA(x*) 过 6, 则 停止 计算 (zx* 作为 无 约束 问题 的 解 ); 否 则 , 置 


qd =— V(x') +Bd*™!, 


(3. 3. 20) 


其 中 
0， k=1, 
| | vx) ll, 
BA 和 
或 


0， k=1, 
Bm = (ev 一 Ye )) ,1l 
WA 


(3) 一 维 搜索 . 求解 一 维 问题 


min $(a) = f(x +ad*), 
得 a, 置 
一 ad 


(4) 置 和; 一 上 十 1, 转 步 骤 (2). 
例 3.3.1 用 共 箔 梯度 法 (FR 算法 ) 求 解 无 约束 问题 : 


min| 7(z) 一 3 + 到 


一 am 一 2 ， 


取 x 一 (0,，0)7. 
解 


一 维 搜索 步 长 为 
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2 = aT WV) C4 + dege lS (3.3.21) 
(a TGd" 3di+ qd — 2did; 


取 x = 二 (0,0)"7, 则 W(x')== (一 2, 0)", qd! == 一 W(x') 一 (2, 0)7. 由 (3.3.21) 
| 
式 得 步 长 m 一 325 一 二 ,因此 


Yt+ad 一 (0,07+ 卫 (2, 07= ( 子 ,0) . 


再 计算 第 二 轮 循 环 .因为 W(x*) = (0, 一 等 ) ,所 以 有 


2 
a Le (3) _1 
TY) 四 9 


因此 
+ = (0, 生 ) + 二 (2,0)7 = (和 ,对 ) 
步 长 为 
3 ot 了 3 (-3) Re 
3( 人 ) +( 针 ) 2: 季子 
因此 得 到 


计算 梯度 W(z) 二 (0, 0)7，| Ce) 中 二 0. 所 以 x 二 (1, 1)7 为 最 优 解 ,最 优 
函数 值 为 f{(x*) = 一 1. 
另外 ,还 有 两 个 计算 及 -, 的 公式 ,如 


Ba= (x*)' (Vf(x*) — Vf(x'!)) 


(qd) (VF) — VT)) 
称 为 Growder-Wolfe 公式 ,和 


Bs = WE) vx) 
(dm) vr)? 


称 为 Dixon 公式 . 
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3.3.4” 共 亏 方 向 的 下 降 性 和 算法 的 二 次 终止 性 
虽然 共 二 梯度 法 是 针对 正定 二 次 函数 导出 的 ,但 仍 适用 于 一 般 的 可 微 函数 . 
这 里 首先 需要 解决 一 个 问题 : 共 箔 梯度 法 产生 的 搜索 方向 是 否 为 下 降 方向 ? 
定理 3.3.4 设 f(x) 具 有 连续 的 一 阶 偏 导数 ,并 假设 一 维 搜索 是 精确 的 ， 
考虑 用 共 思 梯 度 法 求解 无 约束 问题 min f(x), x E R". 若 V(x*) 天 0, 则 搜索 方 
向 4 是 x* 处 的 下 降 方向 . 
证 明 考虑 到 F(x) 在 坟 处 沿 d* 的 展开 式 ,只 需 证 明 V(x*)"™dt < 0. 注意 
到 湾 是 d'" 方向 上 的 精确 极 小 点 ,有 V(x*)Td*! = 0, 因此 
VE) Ta =— Vx)T V(x) +B Vx) Td! 


(3.3.22) 
一 外 VD) 时 < 一 0. 


故 必 是 x* 处 的 下 降 方向 . 

定理 3.3.5 若 一 维 搜索 是 精确 的 , 则 共 思 梯 度 法 具有 二 次 终止 性 . 

证 明 ”考虑 用 共 辆 梯度 法 求解 正定 二 次 目标 函数 . 若 V(x) = 0 (去 由， 
则 x 为 无 约束 问题 的 最 优 解 ;否则 ,由 算法 得 到 的 搜索 方向 由 ,ds ，…, dr 是 关 
于 二 次 部 分 正定 矩阵 共 轿 的 ,由 扩展 子 空间 定理 可 知 ,x"*! 是 无 约束 问题 的 最 
优 解 . 

由 定理 3. 3. 5 可 知 ,对 于 正定 二 次 函数 , 共 思 梯 度 法 至 多 步 终止 . 如 果 算 
法 在 n 步 没有 终止 , 则 说 明 目 标 函 数 不 是 正定 二 次 函数 ,或 者 说 目标 函数 没有 进 
入 一 个 正定 二 次 函数 的 区 域 ,因此 这 种 共 思 已 经 没有 意义 ,此 时 ,搜索 方向 应 重 
新 开始 , 即 令 


下 =— VA(x). 
算法 每 步 重 新 开始 一 次 , 称 为 n 步 重新 开始 策略 . 实际 计算 表明 :n 步 重新 开 
始 的 FR 算法 要 优越 于 FR 算法 . 对 于 PFP 算法, 当 V(x*) 2 一 V(x*-!) 时 ,有 
有 -: 疙 0, 因 此 d* ~ VW( 必 ), 即 自动 重新 开始 . 试验 表明 :对 于 大 型 问题 ,PRP 算 
法 优越 于 FR 算法 . 


司 题 三 


3.1 用 最 速 下 降 法 求解 问题 : 
min{ f(x) = (zx, 一 2)2 十 (zi 一 2zz)21， 
取 初 始点 0 二 (0，3)7 ,允许 误差 e 一 0.4. 
3.2 给 定 Rosenbrock 函数 
f(x) = 100(zz — zx) + (1— zx)’, 
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3.3 


3.5 


3.6 


3.7 
3.8 


其 中 x= (zn, z2)" GE 了- 
(1) 求 出 f(x) 在 以 下 各 点 处 的 最 速 下 降 方 向 : 
n=(—1,2),s =(.5,1); 

(2) 求 出 f(x) 的 平稳 点 ,并 判断 平稳 点 的 最 优 性 . 
用 Newton 法 求解 问题 : 

min{ f(x) = zx? + z+ zx:+2r 一 3zj， 
取 初 始点 x 一 (0，0)7. 
设 GE R” ,为 正定 矩阵 ,bE R", cE R, d', d?,…, dr 是 一 组 G 共 思 的 非 零 向量 . 
证 明 :正定 二 次 函数 无 约束 最 优化 问题 


min f(x) = 二 erGe 十 brx 十 cl 


的 最 优 解 为 
SCD 
=- 立 ( (a) Gd" ) 
设 有 函数 


f(z) = 于 srhr 十 brx+e， 


其 中 4 为 正定 矩阵 ,又 设 吕 ( 天 壹 ) 可 表示 为 
=F+pp, 

其 中 x 是 f(x) 的 极 小 点 ,p 是 A 的 属于 特征 值 2 的 特征 向 量 . 证 明 : 
(D V(r) = mp; 
(2) 如 果 从 > 出 发 , 沿 最 速 下 降 方向 作 精确 的 一 维 搜索 , 则 一 步 达到 极 小 点 元 
用 共 瑟 梯度 法 极 小 化 Powell 奇异 函数 f(x) = (zi 十 10z2)? 十 5(zy 一 Zz.) 十 (zi 一 2z3)' 十 
10(z —z), wm = (3,—1,0,1)". 
证 明 : 当 极 小 化 正定 二 次 函数 时 , 共 辆 梯度 法 FR 公式 .PRP 公式 是 等 价 的 . 
设 将 共 琶 梯度 法 用 于 3 个 变量 的 /(x) ,第 一 次 迭代 的 搜索 方向 为 @ = (1, 一 1, 2)7， 
沿 4 作 精 确 线 搜索 ,得 到 点 民 ,又 设 

ae 2 are) sy 

” az 


az 


那么 按 共 辆 梯度 法 的 规定 ,从 世 出 发 的 搜索 方向 是 什么 ? 
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从 本 章 起 开始 讨论 约束 规划 问题 . 问题 的 一 般 形式 如 下 : 


min f(x), x € R"; 
st. cx)=0,i€EE= (1,2,.,/), (4.1) 
cx) 0,i€ET= {+1, 1+2, ,lt+m}. 


第 一 章 已 经 对 约束 规划 问题 (4. 1) 作 了 简单 的 介绍 ,在 这 一 章 中 ,我 们 主要 介绍 
约束 规划 问题 解 的 类 型 及 其 最 优 性 条 件 . 


841 ,基本 概 窟 
在 第 二 章 中 ,我 们 已 经 介绍 了 无 约束 规划 问题 的 局 部 解 和 全 局 解 的 概念 . 与 


无 约束 规划 问题 相 类 似 ,这 里 给 出 约束 规划 问题 局 部 解 和 全 局 解 的 概念 . 记 问题 
(4.1) 的 可 行 域 为 


D= {x|c(x)=0,i€E,c(x)<0,i€lI. 


定义 4.1.1 对 于 约束 规划 问题 (4. 1) , 若 对 x”E DD, 存 在 e > 0, 使 得 当 
xEDE 且 x 一 x* | 二 e 时 ,总 有 


f(x) 二 Fr )， 


则 称 x" 为 约束 规划 问题 (4. 1) 的 局 部 解 ,或 简称 *" 为 解 . 若 当 xE D 且 
0 二 x 一 x" 之 e 时 ,总 有 
f(x) > Cr )， 


则 称 x" 为 约束 规划 问题 (4. 1) 的 严格 局 部 解 . 
定义 4.1.2 对 于 约束 规划 问题 (4. 1) , 若 对 x”E DD, 总 有 


f(x) > f(x ), 
则 称 x* 为 约束 规划 问题 (4. 1) 的 全 局 解 . 若 当 x Ee D, x 关 x" 时 ,总 有 
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f(x) > f(x° )， 


则 称 x* 为 约束 规划 问题 (4. 1) 的 严格 全 局 解 . 
显然 ,全 局 解 必 是 局 部 解 ,但 反之 不 然 . 特别 地 , 若 D= R", 则 以 上 有 关 解 的 
定义 便 是 无 约束 规划 问题 相应 解 的 定义 . 
例 4.1.1 试 确定 约束 规划 问题 
min{f(x) = zi+ zl; 
Sst. cz) 一 (zi 一 1): 一 好 一 4 一 0， 
cz(xr) 一 ze 一 1 委 0 
的 局 部 解 和 全 局 解 . 
由 图 4. 1. 1 可 以 看 出 问题 的 局 部 解 x" 一 (一 1, 0)7 和 全" == (3, 0)7, 其 中 
x" 是 全 局 解 . 


图 4.1.1 局 部 解 和 全 局 解 


§ 4.2 约束 规划 问题 局 部 解 的 必要 条 件 


本 节 将 给 出 约束 规划 问题 (4. 1) 局 部 解 所 满足 的 条 件 , 也 称 为 一 阶 必要 条 
件 , 并 进行 严格 的 数学 证 明 . 


$4.2.1 约束 规划 问题 局 部 解 的 一 阶 必要 条 件 

考虑 一 般 约束 规划 问题 (4. 1) ,这 里 我 们 假设 f(x), ci(x) (i = 1, 2,…， 
l 十 m) 是 连续 可 微 函 数 . 

设 x" 是 约束 规划 问题 (4. 1) 的 可 行 点 , 0 地 d € R". 若 存在 正 数 a, 使 得 


x"+éd €D, VE [0,a], 
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则 称 a 为 x* 处 的 可 行 方向 (feasible direction). 
记 
FD' = FD(x* ) = {td 1d 是 x 处 的 可 行 方 向 } 
为 x" 处 的 全 体 可 行 方向 的 集合 . 
例 4.2.1 考虑 可 行 域 
D= {x= (x, zx) |z:—zi <0,— zx <o). 
设 x” = (0, 0)", 则 x" 处 的 可 行 方向 集 FD* = {d= (a, 0)7 | a 之 01. 
定义 4.2.1 设 主 是 一 般 约束 规划 问题 (4.1) 的 可 行 点 . 当 iEIT 时 ,对 某 个 
约束 , 若 ci( 人 ) = 0, 则 称 c;(x) 入 0 为 半 处 的 有 效 约 束 (active constraints); 若 
ci( 公 ) < 0, 则 称 约束 ci(x) 之 0 为 处 的 非 有 效 约束 . 
定义 有 效 约束 指标 集 
I(£)={ilc(£)=0,i€T, 
简称 I(%) 为 人 处 的 有 效 集 (active set). 
设 x"* 是 约束 规划 问题 (4.1) 的 可 行 点 ,定义 
LD' = LD(x') 
= {dld0,d' V(x*)=0,i€E,d' W(x)<o0,ie€e I(xr')|. 
显然 ,LD* U {101 是 一 个 锥 , 称 为 x* 处 的 线性 化 锥 . 
引 理 4.2.1 FD* CLD*. 
证 明 设 d€ FD , 则 存在 x = 二 x* 十 6d 是 可 行 点 .由 Taylor 展开 式 , 有 


cz) = cx' )+odT V(x' ) 十 o(5). (4.2.1) 
当 iE€ 时 ,ci(x) 二 0, ci(x") 一 0, 所 以 (4.2.1) 式 化 简 为 
6d7 Vi(r'  ) 十 o(5) = 0. (4.2.2) 


在 (4. 2. 2) 式 两 端 同 除 $, 并 令 3->0, 得 到 
dT Ver ) = 0. 
当 iE Tx ) 时 ,ci(x) 过 0, cx*) 一 0, 所 以 (4.2.1) 式 化 简 为 
dd Ver )+o0(6) 二 0. 
在 上 式 两 端 同 除 9, 并 令 9-~0 ,得 到 
ar Vei(x* ) 去 0. 
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因此 , da € LD*. 
但 命题 反之 并 不 成 立 .我们 不 妨 用 以 下 例题 给 予 说 明 . 
例 4.2.2 继续 考虑 例 4.2.1 中 的 可 行 域 D, 可 行 点 x”== (0, 0)”, 则 
Vea(x’ ) =(0, 1)7, W(x’) = (0, 一 1)", 故 
LD* = {d= (di, di)" | dA0, dT Vol(x")<o0, dT V(x )<ol 
= ld= (di, di)" |d,#0,d:= 0| 
= {(di, 0)" | qd, 0}. 
显然 , d = (一 1, 0)7E LD' ,但 有 d & FD*. 
因此 ,要 使 LD" = FD , 需要 对 约束 附加 条 件 .通常 称 任何 一 个 保证 LD" 
= FD" 成 立 的 条 件 为 约束 限制 条 件 (constraint qualification). 
在 预备 知识 中 谈 过 ,对 于 目标 函数 /(x), 若 沿 方向 d 的 一 阶 方向 导数 小 
于 0, 则 该 方向 是 下 降 方向 , 记 
DD* = DD(x* ) = ld| dT Vf(x* ) 一 0|. 
定理 4.2.2 若 x" 是 约束 规划 问题 (4.1) 的 局 部 解 , 则 
* FD* n DD' = %. 
证 明 任 取 d € FD*，, 则 存在 整数 a, 使 得 x 二 x" 十 6d, 8 € [0, a]. 由 
Taylor 展开 式 , 有 
f(x) = Fr ) 十 adrVf(r ) 十 o(9). (4.2.3) 
因为 x* 是 局 部 解 ,所 以 存在 着 oo, 当 8E€ [0, ao] 时 ,有 f(x) 三 f(x" ), 由 (4.2.3) 
式 得 到 
6d™ Vf(x"  ) 十 o(5) > 0. 
在 上 式 两 端 同 除 6, 并 令 5->0, 得 到 
dT Vf(x* ) > 0. 


故 d&DD'. 
为 了 证 明 一 阶 必 要 条 件 ,还 需要 给 出 一 个 Farkas 引 理 . 
定理 4.2.3(Farkas 引 理 ) 设 4AE Re 和 wE R". 
系统 工 : 


Ad <0, wrd>odEcRi 
系统 下 : 


w= Ay, y= (y, ys,*, ya)T >0, 


第 四 章 约束 规划 的 最 优 性 条 件 65 


了 之 0 表示 的 每 个 分 量 y;(i 二 1，2，…， m) 均 大 于 等 于 0; 则 两 系统 有 且 仅 有 
一 个 有 解 . 
证 明 ”下面 分 两 种 情况 来 讨论 . 

(1) 若 系统 下 有 解 , 则 系统 工 无 解 . 

设 系统 下 有 解 , 即 存在 了 一 (y1, yz，*……, yn)" 且 yi 之 0 (一 1，2，…，m)， 
使 得 
若 系统 工 有 解 , 则 有 


w= ATy. 


0<w'd= yAd<o. 
矛盾 ,因此 系统 工 无 解 . 
(2) 若 系 统 卫 无 解 , 则 系统 I 有 解 . 
设 系统 I 无 解 ,构造 集合 
C= Jy)lv= A'y, y>0,i=1,2,.%…,m}, 
显然 C 是 非 空 闭 凸 集 . 系统 卫 无 解 表明 ,w& C, 由 定理 1.4. 9 可 知 ,存在 d，, p， 


满足 
dix<p<diw, VYx€EcC. 


注意 到 0 € C, 从 上 式 可 知 8 之 0, 因而 drw > 0. 
由 此 可 得 
Bd'xr= dA'y= (yAd)T = yrAd, Vy>0. 
由 于 y 宇 0 可 以 任意 大 , 故 Ad 之 0. 又 


0<B<a'w, 
可 知 
diw> 0. 


所 以 d 是 系统 工 的 解 . 
针对 问题 (4. 1) ,引进 Lagrange 函数 : 


sm 
L(z, 4) = f(x)+ Daici(x). 


利用 Farkas 引 理 , 则 可 以 得 到 如 下 约束 优化 问题 的 一 阶 必要 条 件 、 

定理 4. 2. 4( 约 束 问题 局 部 解 的 一 阶 必要 条 件 ) 设 约束 问题 (4.1) 中 f(z)， 
cz) (一 1，2，…，! 十 mm) 具有 连续 的 一 阶 偏 导数 , 若 ** 是 约束 问题 (4. 1) 
的 局 部 解 ,并 且 在 x* 处 约束 限制 条 件 成 立 ( 即 LD' = FD'), 则 存在 1 = 
(27 ,和 ，… ,Am)', 使 得 
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tm 
WL(x ,4 )= Vr) + Da VC ) 一 0， 


cx")=0,i€E=|1,2,.,L}, 
cx )<0,i€ET= {+1, 1+2, ,Ll+m|l, 
A 0,i€ET= 1+1,L+2,……, Ll+m}, 
Mc(x’)=0,i€ETI= {+1, 1+2, ,Ll+m}, (4.2.4) 


其 中 工 (x, 4) 为 Lagrange 函数 
Hm 
L(x, 4) = f(x) + Daici(x). 
ey 
证 明 因为 x" 是 约束 问题 (4.1) 的 局 部 解 , 由 定理 4.2.2 得 到 FD* 站 DD* 

三 名 ,再 由 约束 限制 条 件 得 到 LD" 由 DD" = ,因此 系统 

Wil(x')'d=0, i€E, 

ee )"d<o0, iE€I(x'), 

Vi(x*)'d<o 

无 解 .为 了 利用 Farkas 引 理 ,将 第 一 个 等 式 Vi(x" )rd = 0 改写 为 
Vi(x’)Td<0, 有 8 —V(x')'d<o,ierE, 

则 系统 工 可 以 写成 

Ad <0,—V(x* )'d >0, 
其 中 4 是 以 

Var ) (iE E), ~— W(x’) Tie E), V(x’ OrGE I(x')) 
为 行 的 矩阵 . 由 Farkas 引 理 可 知 ,存在 向 量 
y= ut, eT, pT)", 
满足 
ATy =— V(x" )， 
即 
TY) = Da Wer) + Du Vel)]+ Dw Wilx'), 
i€ i€E 


i€ Ns”) 


也 即 
VIF Du Vr)+ Dv Wilx*) =0. 


i€1r") 
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vw,i€ lI(x’), 
7 =0,i€ TMI(x’), 


显然 满足 (4. 2.4) 式 , 故 定理 得 证 . 

由 于 这 一 定理 是 Kuhn 和 Tucker(1951) 给 出 的 ,因此 称 上 述 一 阶 必要 条 件 
为 Kuhn-Tucker 条 件 (Kuhn-Tucker conditions) ,或 简称 为 K-T 条 件 ; 称 满足 
(4. 2.4) 式 的 点 为 Kuhn-Tucker 点 ,或 简称 为 K-T 点 ; 称 L(x, 4) 为 Lagrange 
函数 , 称 1" 为 x" 处 的 Lagrange 乘 子 (Lagrange multiplier). 

请 注意 ,在 定理 4. 2. 4 中 增加 了 约束 限制 条 件 , 若 无 此 条 件 , 则 局 部 解 不 一 
定 是 K-T 点 . 

事实 上 ,考虑 约束 问题 


min{f(x) = |; 


st， a(x)=z:—z!<0, 


ca(x) =— Zz <0, 


因为 zi 之 xz; 宇 0, 所 以 x” = (0, 0)7 是 约束 问题 的 局 部 解 . 由 例 4. 2. 2 可 知 
LD" 关 FD"， 约束 限 制 条 件 不 成 立 ,下 面 验证 x' 不 是 K-T 点 . 
考虑 Lagrange 函数 
L(x, 4) = f(x) 十 Nict(x) 十 hzcz(x) 


= x1+A (x — ZI)— Xx, 
因此 ,对 一 切 %4= (h1, 4)", 有 


1 


L(x ,4) = V(x )+A Ve(x’ ) 十 hz Ve (x* ) =|, a 


jz 
所 以 x' 不 是 K-T 点 . 
与 无 约束 最 优化 问题 一 样 ,满足 一 阶 必要 条 件 的 点 并 不 一 定 是 极 小 点 . 考虑 
例子 
min{f(z) 一 zz; 


st. c(z)=—zi—z: <0. 


K-T 点 应 满足 方程 组 
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一 2Mz 一 0， (a) 
1—4=0, (b) 
—zi—z: <0, (ce) 
2 宇 0, (d) 
A(z! + zx) = 0. (e) 


由 (b) 得 到 4 = 1, 由 (e) 得 到 zl 十 zs = 0, 再 由 (a) 得 到 z, 二 0, 因此 K-T 点 为 
x" 一 (0, 0)7, 相应 的 乘 子 为 )” = 1. 但 x" = (0, 0) 不 是 约束 问题 的 局 部 解 . 


$4.2.2 约束 限制 条 件 
前 面 提 到 , 凡 能 保证 LD”= FD* 成 立 的 任何 一 组 条 件 均 称 为 约束 限制 条 件 . 
若 约束 问题 (4. 1) 的 约束 在 局 部 解 x" 处 满足 某 种 约束 限制 条 件 , 则 在 x" 处 K-T 
条 件 成 立 . 约束 限制 条 件 有 许多 种 ,这 里 只 介绍 最 简单 的 较 易 验 证 的 两 种 条 件 . 
定理 4.2.5 若 在 约束 问题 (4.1) 的 局 部 解 x" 处 下 述 两 条 件 之 一 成 立 : 
(1) ci(x) (i E EU I(x* )) 是 线性 沪 数 ; 
(2) Vei(x" ) (i € EU I(x" )) 线性 无 关 ; 
则 在 x* 处 有 FD* = LD*. 
证 明 由 引 理 4.2.1 有 
FD(x' , D)C LD(x* , D), 
故 只 需 在 两 种 条 件 (1) 和 (2) 下 证 明 
LD(x*, D)C FD(x' , D). 


我 们 只 证 明 情 况 (1). 

任 取 

dE€ELD(x",D)= {dld0,d' V(x’)=0,i€E; 
dT Ve(x°)<0,i€ I(x’)|. 
令 
x(a) 一 x +ad,a> 0. 
由 于 ci(x) (i € E U I(x* )) 为 线性 函数 ,因此 将 ci(x* ) 在 x* 处 作 一 阶 Taylor 
展开 ,有 
ci(x) =c(x’)+ad' V(x")=0,i€E, 


cz) 一 ct ) 十 ad Vi(x’ ) < 0,iE T(x ),aN 人 小 , 
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便 得 到 * 是 可 行 点 , 故 dE FD(x* ，D). 
从 上 述 定理 和 一 阶 必要 条 件 定理 4. 2. 4 立即 可 得 以 下 结论 . 
定理 4.2.6 设 x" 是 问题 (4.1) 的 一 个 局 部 解 , c(x) (i € 已 U I(x* )) 是 
线性 函数 或 Wi(x* ) (ie E U I(x" )) 线性 无 关 , 则 必 存 在 4 ,使 得 K-T 条件 
(4. 2.4) 成 立 . 
例 4.2.3 考虑 如 下 约束 问题 : 
min{ f(z) = zi + x2}; 
st. a(z)=zxi+zi—9<0, 
cz(z) 一 Zi 十 zz 一 1 委 0. 
已 知 x”= (0, 一 3)7 是 上 述 问题 的 最 优 解 , 则 I(x* ) = {1|, 向 量 W,(x* ) 显 然 
线性 无 关 , 故 约束 限制 条 件 成 立 . 下 面 可 以 验证 当 = 寺 , hs 一 0 时 ,K-T 条件 


成 立 : 


V(x )+A Vir  ) 十 is Ve (x ) = 0, 
hz 过 0， 
Mici(z ) 一 0,i 一 1，2. 


故 x" 为 K-T 点 . 
例 4.2.4 考虑 如 下 约束 问题 : 
min{f(x) = (zf —3) + (zx: —2)°|; 
st. cl(x)=z++z: < 5, 
cz(x) 一 一 zi <0, 
ci(x) =— zx: < 0, 
ct(x) = z+27: = 4. 


已 知 x” = (2, 1)" 是 上 述 问题 的 最 优 解 , 则 I(x* ) = {1} , 向 量 We (x ) 显 然 线 
性 无 关 , 故 约束 限制 条 件 成 立 . 下 面 可 以 验证 当 一 计 , Xs 一 A 一 0,X4 一 子 
时 ,K-T 条 件 成 立 ; 

V(x' ) 十 2 V(x )=0, 


AN 宇 0, i = 1,2,3,4, 
Aici(x" )=0,1i=1,2,3. 


故 x* 为 K-T 点 . 
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§ 4.3 二 阶 充分 条 件 


下 面 我 们 讨论 一 般 约 束 问 题 (4. 1) 的 二 阶 充分 条 件 . 

定理 4.3.1( 约 束 问题 局 部 解 的 二 阶 充 分 条 件 ) ”考虑 约束 问题 (4. 1), 设 
f(x), ci(x) (i € EU 了) 具有 连续 的 二 阶 偏 导数 . 若 存 在 x* 满足 下 列 条 件 : 

(1) K-T 条 件 成 立 , 即 存在 4”== (4? ,X42 ，…， htm)"， 使 得 


Hm 
L(x ,A ) = Vr) + DX Veilx’) =0, 
clx°)=0,i€E=|1,2,.,1, 
cl(x’)<O0,i€EI= |i+1,L+2, ,lt+m}, 
A 过 0iET 一 | 十 1, 1+2,., Ll+m}, 
Mc(x’)=0,i€EIT= 1+1,1+2,., 1+m}, 


且 M 和 ci(x" ) (i€E7 了 ) 不 同时 为 0( 称 为 严格 松弛 互补 条 件 ); 
(2) 对 于 任意 的 de M, 有 


TVILO 2 )d>0， (4.3.1) 


其 中 M= ld€E R"|d0, V(x")'d=0,iE€ EUI(x')|,1I(x' ) 是 x* 处 
的 有 效 约束 指标 集 ; 
则 x" 是 约束 问题 (4. 1) 的 严格 局 部 解 . 

证 明 反 证 法 . 若 x" 不 是 约束 问题 的 严格 局 部 解 , 则 存在 可 行 点 列 {x*}， 
x 一 x” ,使 得 


f(x) < f(x'). (4.3.2) 
令 
太一 x 十 2xd4， 
其 中 
a sd 
= 1x x1,d= re 


因此 , 4 = 二 1 和 6 一 0. 
因为 d* 有 界 ,所 以 必 有 收敛 子 列 ,不 妨 仍 记 为 必 , 即 4 一 d. 由 Taylor 展开 
式 和 (4. 3. 2) 式 ,得 到 


0 f(x)— f(x )= 6 V(x )Td:+o(6). (4.3.3) 
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在 (4. 3. 3) 式 两 端 同 除 2 ,并 令 人 -~co ,得 到 


VH(z')rd 雯 0. (4.3.4) 
用 类 似 的 方法 可 以 得 到 
Vei(x’)Td=0,i€E, (4.3.5) 
V(x )Td < 0,i€ I(x'). (4.3.6) 
(4. 3.6) 式 表明 : 


@ 对 一 切 iE€E I(x* ), Vei(x" )"d = 0. 或 者 ， 
@ 存在 7)E I(x" ), 使 得 Ve; (x* )"d 一 0. 

下 面 证 明 Q@, @ 两 种 情况 均 不 会 出 现 . 

车 情况 成 立 , 则 de M. 考虑 Lagrange 函数 


L(x, 4) = f(x)+ Felx) 
| 


在 x** 处 的 Taylor 展开 式 
L(x',4°)=L(x", 4°)+o WL(x" , 4° )Td 
十 去 异 (d0)T VEL (x ,4° )d: + o(67). 人 
注意 到 
Hm 
L(x ,4°)= f(x)+ Da ci(x) 
各 
一 Fe) 二 ci) 
ET )》 
< f(x), 
和 
ttm 
L(x° ,4°)= fx)+ Da cx ) = f(x ), 
各 
因此 ,(4. 3.7) 式 可 写成 
0 f(x)—f(x°)L(x, 2 ) 一 LOGr ,4°) 
(4.3.8) 


= 8)T VEL (x ,4 )dt + oN). 


在 (4. 3. 8) 式 两 端 同 除 六 ,并 令 人 ~co ,得 到 


VE 4°)d<o, 
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这 与 (4. 3. 1) 式 矛盾 . 
再 假设 情况 @ 成 立 . 由 一 阶 必要 条 件 和 (4. 3. 5) 式 得 到 


Hm 
V(x )Td = 一 > Ver )Td 
各 


一 一 3 Ver )Td 
iTKz ) 
一 Ver )rd > 0, 
这 与 (4. 3. 4) 式 矛盾 口 
例 4.3.1 用 约束 问题 局 部 解 的 一 阶 必要 条 件 和 二 阶 充分 条 件 求解 约束 
问题 ; 
min{ f(x) = zizxs}; 
Ss.t, c(x)=zi++zxi—1l1=0. 
解 ” 由 约束 问题 的 Lagrange 函数 得 
L(x, 4) = zizxs +A(z? + x? —1). 


根据 约束 问题 的 一 阶 必要 条 件 得 


Zz: 十 2471 一 0， (a) 
zi 十 2hz: 一 0， (b) 
zi+zi—1=0. (c) 


求解 该 方程 ,分 情况 讨论 : 
当 =0 时 ,有 z = zz = 0, 与 (c) 矛 盾 . 
当 4 关 0 时 ,由 (a) 与 (b) 可 知 
{ 一 0， 
(1 一 42)zs = 0. 


解 之 ,得 到 4 = 一 去 ,或 二 二 ,相应 的 K-T 点 为 


(zi，zz) = (- 竣 ,- 摊 )， (zl，zz) 一 ( 笃 


(m=(- 章 , 剖 ), (ma)= (次 


下 面 验 证 二 阶 充分 条 件 . 
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(1) 当 》 = 一 去 时 ,Lagrange 函数 在 (x" ,4* ) 处 的 Hesse 矩阵 为 


Ne 江 中 
人 ,=| 1 lh 
不 是 正定 矩阵 . 考虑 集合 


M= {(a, B)T | (a, B)T #0, V2a +V28 = 0} 
= |(a, ~—a)" la 0}, 


对 于 dEM, 有 
dT ViL(x° , 4° )d = (a, -or | (a, —a)T =— 4a? <0, 
因此 (zzm)= (爸爸 ), (a, a)=(- 捞 ,一 媒 ) 不 是 约束 问题 的 局 


2 2 
部 解 . 
(2) 当 4= 去 时 ,Lagrange 函数 在 (x" ,A ) 处 的 Hesse 矩阵 为 


we 中 
1 过 
是 半 正 定 矩 阵 . 考虑 集合 

M= i(e, ar7rla 关 0|， 
对 于 de M, 有 


dT VIL(x* , 4° )d = (a, 2 lk, 


因此 (a, mp) = (次 ,一 笃 )， (m,n) = (次 ,次 ) 是 约束 问题 的 
最 优 解 


84.4 吓 规 划 的 最 优 性 条 件 


对 于 一 般 的 非 线性 规划 (4. 1) , 若 目标 函数 f(z) 是 凸 函数 ,约束 集合 DD 是 
凸 集 , 则 称 非 线性 规划 (4. 1) 为 凸 规划 . 显然 ,如 果 (4. 1) 中 只 含 不 等 式 约束 ,又 
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ci(*) (ie 7T) 是 凸 函 数 , 则 约束 集 DD 是 凸 集 .对 混合 约束 问题 , 若 ci;(x) (i € E) 
是 线性 函数 , ci(x) (i € 了 ) 是 凸 函数 , 则 D 是 凸 集 . 

凸 规划 的 解 有 很 好 的 性 质 , 最 优 性 条 件 也 比较 简单 ,下 面 给 出 凸 规划 解 的 
结果 . 

定理 4.4.1 凸 规划 的 局 部 解 必 是 全 局 解 . 

证 明 设 x" 是 凸 规划 的 一 个 局 部 解 ,由 局 部 解 的 定义 知 ,存在 x" 的 一 个 
> 0 邻 域 N,(x" ) ,使 得 


flx*)Sf(x), Vx€E N(x ND 
成 立 ， 
假定 x* 不 是 全 局 解 , 则 存在 € DD, 使 得 
f(x) < f(x'). 
令 语 二 a 十 (1 一 a)x” (0 过 a 二 1), 由 约束 集合 品 是 凸 集 知 X*E D. 今 取 a 满 
足 0<a< 人 二 7T' 则 有 


| 3—x* | = lart(l—a)x —x | =al Fr—x <, 
从 而 YE Ns(x* ). 故 及 € Ns(x*) 门 D. 再 由 jF(z) 是 凸 函 数 , 有 


f(x¥)= (az 十 (1 一 a)xr) 
委 af(z) 十 (1 一 ao)F(z  ) 
<af(x)+(1—a)f(x') 
= f(x"). 


这 与 x" 是 局 部 解 矛 盾 , 定 理 得 证 . 

对 于 一 般 的 非 线性 规划 问题 ,K-T 条 件 是 解 的 一 个 必要 条 件 ,而 对 凸 规划 
问题 , 下面 的 定理 说 明 K-T 条 件 也 是 解 的 一 个 充分 条 件 . 

定理 4.4.2 设 目标 函数 f(x) 和 约束 函数 c; (x) 一 阶 连续 可 微 ,并 且 c(x) 
(i E€ E) 是 线性 函数 , c(x) (i € 1) 是 凸 函数 . 若 凸 规划 (4. 1) 的 可 行 点 x* 是 
K-T 点 , 则 x" 必 是 全 局 解 . 

证 明 设 x* 是 K-T 点 ,X" 是 相应 的 Lagrange 乘 子 . 由 f(x) 是 凸 函数 , 根 
据 定理 1. 4.5, 有 


fx) f(x) + Vx  )TOr 一 x). 
由 ci(x) (ie E) 是 线性 函数 , 则 有 
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ci(x) 一 ci(r  ) 十 Yi(z )TCr 一 xY ) ieE 匹 . 
由 ci(x) (i € T) 是 凸 函数 , 则 有 
ci(x) cx )+ V(x ) T(x—x),i€EL. 


对 于 任意 的 xE D，》 ac(x) 过 0, 有 


各 
tm 
f(x) 过 f(x)+ Da cilx) 
名 
Hm 
fr) + Vx Tx—x)+ Da [ex )+ Vei(x* )T(x—x' )] 
Ee 
thm Hm 
= f(x°)+ Da cx )+ [Vr ) + Da Ver )]T (x— x) 
名 名 
tm 
= f(x°)+ Declx’) 
各 
ms fe 


即 有 
f(x)>f(x*), Vx€ED, 


所 以 x" 是 全 局 解 . 
例 4.4.1 求 如 下 约束 问题 的 K-T 点 ,并 验证 它 是 否 为 该 约束 问题 的 全 
局 解 : 


min{ f(x) = 2zl 十 2zizz 十 好 一 10zi — 10z,}; 
Sst. a(x)=z+zi<5, 
cz(x) = 3z1 zx: < 6. 
解 已 知 x” = (1, 2)" 是 问题 的 可 行 解 ,同时 满足 K-T 条 件 , 故 该 点 为 约 
束 问题 的 K-T 点 . 又 由 于 目标 函数 为 凸 函 数 ,而 约束 函数 c (x*) 和 cs (x) 一 阶 连 
续 可 微 , 从 而 由 定理 4. 4. 2 可 知 ,点 *” = (1, 2)" 也 是 约束 问题 的 全 局 极 小 点 . 


司 题 四 


4.1 考虑 约束 问题 
min{ f(%) = 去 em 一 2) zz) 


st a(z)=z—z<o0, 
Ga(z) =z1+z —2<0. 
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(1) 求 出 所 有 的 使 两 个 约束 均 为 有 效 约 东 的 可 行 点 ; 
(2) 求 出 a 的 取 值 范围 ,使 得 a 在 该 范围 内 取 值 时 ,由 (1) 得 到 的 可 行 点 满足 一 阶 必要 
条 件 . 
4.2 考虑 约束 问题 
min{ f(x) = z? +2z1 + zt}; 


st cr)= zx — x= 0. 


(1) 验证 x”= (0, 0)" 满足 局 部 解 的 一 阶 必要 条 件 ; 
(2) 试问 x” = (0, 0)7 满足 局 部 解 的 二 阶 充分 条 件 吗 ? 
(3) 验证 *” 一 (0, 0)7 是 否 为 约束 问题 的 局 部 解 (或 全 局 解 ). 
4.3 用 约束 问题 局 部 解 的 一 阶 必要 条 件 和 二 阶 充 分 条 件 求 约束 问题 
min{ f(x) = ziz2}; 


st c(x)=z+r—3=0 


的 解 和 相应 的 桶 子 ,并 用 图 解法 验证 你 的 结论 . 
4.4 求 以 下 约束 问题 的 解 : 
min{ f(x) 一 (zi 一 3)2 十 (zz 一 2)2|; 
st a(r)=zxi+zi<5, 
(1) ca(x) 一 zi 十 zz 和 3， 

ex) 一 六 过 0， 

ce(x) 一 过 0. 
min| f(x) 一 (zi 一 1]) 十 (zs 一 2)21; 
(2 a(x)= (n+z: —1) <o0, 

ca(x) = x0, 

a(x) = x >0. 
mind f(x) = (zi 一 4 十 (za 一 3)21; 
St, cz) 一 五 十 了 入 5， 


(3) 


ce(x) 一 一 Za < 0. 
4 5 考虑 约束 问题 
min{ f(x) =— zx}; 
st cx) 一 1 一 好 一 好 三 0， 
C(x) = zr —(n—1)>0. 
试 证 点 x* = (1, 0)" 是 K-T 点 ,而 点 二 (0, 一 1)" 不 是 K-T 点 . 
4.6 ， 求 下 列 约束 问题 的 K-T 点 : 
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min{ f(x) = 2z 十 2zizs 十 好 一 10z — 10z2); 
(Dast a(xs)=z+a 5, 

ca(x) 一 3zm + zx < 6. 
min| f(x) = 4zi — 3z2}; 


Sst, A(xr)=4—z—zx>0, 


多 cz) = z+7>0, 
G(x) =— (x —3)*+z+1> 0. 
min|f(x) = [(z1+z2):+27 +z2]}; 
(3) st. A(x)= z+3r <4, 


cz(x) 一 2zi 十 zs 入 3， 
(x) 一 1, zs 过 0. 

minl7(z) = (zi1— z+ xz) ls 

(4)4s.t a(x)= z+2r: — Zz = 5, 

G(x) = zi 十 2zrz 一 ma 一 一 1. 

4.7 试 写 出 下 列 约束 问题 的 K-T 最 优 性 条 件 , 并 利用 所 得 到 的 表达 式 求 出 它们 的 解 : 
oO) 0 = (zn1—2)+ (rz —1)|; 

Sst, cx)=1-—z—z!>0. 

min{ f(x) = (zl 一 2 十 (zz 一 1 

St. c(x)=9—z—z>0. 


4.8 考虑 问题 


(2) 


min| f(x) = xz}; 
st ex) 一 (zi 十 1 十 好 一 1 一 0， 
cz(z) 一 (zi 一 1) 十 za 一 1 一 0. 
试问 :在 解 x” = (0, 0)7 处 ,一 阶 必要 条 件 是 否 成 立 ? 
4.9 用 一 阶 必要 条 件 确定 问题 
min{ f(x) = (zi 十 1)2 十 (zz 一 1)21; 
st a(x)=(n—1)(4—z—z)>0, 
(x) = 100— 2zi — zx? > 0, 


cz) = 一 二 =0 


2 
的 局 部 最 小 点 . 
4.10 考虑 约束 问题 
mini f(x) 一 好 一 好 一 4zzj; 


st cx)=z=0. 


(1) 试用 图 解法 说 明 x”= (0, 0)" 是 该 问题 的 解 . 
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(2) 验证 在 x" 处 解 的 一 阶 必要 条 件 不 成 立 . 
4.11 考虑 约束 问题 
min{ f(x) =— xz}; 
st a(r)=(3—zx)’— (zr —2)>0, 
c2(x) = 3zl 十 > 9. 
(1) 写 出 解 的 一 阶 必 要 条 件 , 求 出 所 有 满足 该 条 件 的 点 . 
(2) 用 图 解法 求解 该 问题 . 
(3) 增加 约束 条 件 2x, 一 3zz 宇 0 后 ,重新 进行 (1) 和 (2) 的 工作 . 
4.12 考察 如 下 问题 
min|f(x) 一 五 十 到 | 
st a(x)=z+d<5, 
cz(x) 一 zi 十 2zz = 4, 


G(x) = x, x > 0. 


验证 在 最 优点 *” = (各 ,名 )” 处 ,K-T 条 件 成 立 ,并 求 在 点 x 的 Lagrange 乘 子 . 


第 五 章 二 次 规划 


因为 一 般 的 约束 优化 问题 求解 比较 困难 ,本 章 介 绍 简单 的 西 二 次 规划 问题 
的 求解 方法 ,这 是 因为 凸 二 次 规划 是 继 线 性 规划 后 最 简单 的 非 线性 规划 问题 ,对 
一 般 非 线性 规划 的 求解 有 借鉴 作用 . 


§5.1 二 次 规划 问题 及 解 的 条 件 


考虑 如 下 特殊 的 约束 优化 问题 
min(/(x) = 二 "Gr + rrx]， rER'; 
st, c(x)=alx—b=0,i€EE=|1,2,.…,1/), 
cl(x)=alx—b <0,i€EIT=1+1,1+2, ,Ll+m}, 


(5.1.1) 


其 中 G 为 n Xn 对 称 和 矩阵 ,r, a,(i€E EU7) 为 n 维 实 向 量 ,b(i€ EU7) 为 实数 , 称 
问题 (5. 1. 1 ) 为 二 次 规划 (quadratic programming) 问 题 . 若 G 为 (正定 ) 半 正定 
矩阵 , 则 称 问 题 (5. 1. 1) 为 (严格 ) 凸 二 次 规划 (convex quadratic programming). 

下 面 我 们 给 出 一 个 凸 二 次 规划 的 应 用 实例 . 

例 5.1.1( 投 资 组 合 问题 ) 假设 有 1 百 万 元 ,可 以 投资 到 3 只 股票 . 设 随 机 
变量 R 表示 投资 到 股票 i 的 1 元 钱 每 年 能 够 带 来 的 收益 . 通过 对 历史 数据 分 
析 ,我 们 可 以 得 到 各 只 股票 的 收益 期 望 值 为 E(R,) = 0.09，E(R:) = 0.07， 
下 (R: ) 二 0.06, 其 中 正 (x) 表 示 x 的 期 望 值 . 年度 收 益 的 方差 估 测 为 Var(R,) 一 
Var(R:) == 0.20，Var(R: ) 二 0. 15 , 协 方差 为 Cov(R, ，R: ) = 0.03, Cov(Ri， 
R;) 一 0. 04，Cov(R:，R: ) = 0. 05. 如 果 z, 是 投资 于 第 i 只 股票 的 金额 ( 百 万 
元 ), 则 每 年 收益 为 Rir 十 Roxi 十 Rszxs, 每 年 收益 的 期 望 值 为 E(Ri)zi 十 
下 (R: )zs 十 E(R;)zs, 如 果 期 望 收益 率 至 少 为 7. 5%, 则 应 有 


0. 09zl 十 0. 07z; 十 0. 06z: 之 0. 075. 


80 最 优化 基础 理论 与 方法 


对 于 投资 支出 的 约束 条 件 为 
+z+z = 1. 


我 们 希望 最 小 化 投资 收益 的 方差 为 


(zz，zs)G|zz|， 


Is 


0.03 0.2 0.05 
0.04 0.05 0.15 


0.2 0.03 0.04 
G= 


那么 问题 的 二 次 规划 模型 为 


x2 |); 


0.2 0.03 0.04] {xz 
wt alee 0.2 :| | 
0.04 0.05 0.15 
Ss.t. 0.09zi 十 0.07z: 十 0.06zx > 0.075, 
Zi 十 zz 十 zs 一 1， 
Zi 0, zz 二 0, zi 二 0. 


因为 G 是 正定 矩阵 , 故 上 述 模型 为 严格 凸 二 次 规划 问题 . 

下 面 讨论 凸 二 次 规划 问题 解 的 条 件 . 

定理 5.1.1 设 问 题 (5. 1. 1) 是 凸 二 次 规划 , 则 x* 是 问题 (5. 1. 1) 的 全 局 最 
优 解 的 充分 必要 条 件 是 :x* 是 K-T 点 , 即 存在 4”= (4; ，)2 ，…, hs)， 使 得 


Xs 


Hm 
Gr +r+ Da: =0, 


ax ~—b;=0,i€E, 
erxz'" —b <0,i€], 
2 >0,i€l, 
(ear —b)=0,i€L. 
证 明 ”必要 性 由 约束 问题 的 一 阶 必要 条 件 得 证 . 
充分 性 . 设 x" 是 K-T 点 ,考虑 VYx 关 x* ,x EDD, 这 里 
D= {x|@axr=6,i€E,ax<b,icell. 


(5. 1.2) 
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全 I(x°)= li€I|alxr—b=0}, 


由 于 G 半 正定 (正定 ), 因 此 有 


f(x)— f(x ) 
= V(x ) T(x—x*) 二 计 (x 一 x )rG(x 一 xz) 


过 (>) VfGr (xr—x) 
= 一 iaeT(z 一 rz) 一 Daal(x—x)— 2D) Nal(x—x") 
a 


i€ N(x") i€E Kx") 
宇 0. 
故 x 是 问题 (5.1. 1) 的 (严格 ) 全 局 最 优 解 . 
推论 5.1.2 (严格 ) 凸 二 次 规划 问题 的 局 部 解 均 是 全 局 最 优 解 
定理 5.1.3 若 x* 是 凸 二 次 规划 (5.1. 1) 的 全 局 最 优 解 , 则 x 是 如 下 等 式 
约束 二 次 规划 问题 


min{ 7(z) 一 到 rrTGz 十 rz x € Ri tea 


st. c(x)=alx—b=0,i€EEUI(x') 


的 全 局 最 优 解 . 

证 明 若 x" 是 问题 (5.1.1) 的 全 局 最 优 解 , 则 x 是 问题 (5. 1. 1) 的 K-T 
点 ,也 是 问题 (5. 1. 3) 的 K-T 点 ,由 定理 5. 1. 1 及 推论 , 则 x* 是 问题 (5. 1. 3) 的 
全 局 最 优 解 . 


§ 5.2 等 式 约束 二 次 规划 问题 的 求解 方法 


8$5.2.1 等 式 约束 二 次 规划 问题 的 条 件 
本 节 讨 论 如 下 只 有 等 式 约束 的 二 次 规划 问题 


We 
min (fC) = BG tr 中 (5.2.1) 


st。 Ar=b 
的 求解 方法 ,其 中 4 一 (@, a a), wdG 一 1，2，…，m) ,一 (， 
bp，…，bm)" 是 m 维 列 向 量 且 rank(A) = m, 即 矩 阵 是 行 满 秩 的 ,其 他 符号 同 
问题 (5. 1. 1). 当 问 题 (5. 2. 1) 中 的 矩阵 G 为 正定 或 半 正 定 矩 阵 时 ,此 极 值 问 
题 可 以 转换 成 解 线性 方程 组 的 问题 . 
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定理 5.2.1 当 问 题 (5. 2. 1) 中 的 矩阵 G 是 半 正 定 (正定 ) 和 矩阵 时 ,局 部 解 
x" 是 全 局 最 优 解 ,这 时 4" 为 相应 的 乘 子 的 充分 必要 条 件 是 :x" , 4" 是 线性 方 
程 组 
x 


4] 和 


4 0 


= (5.2.2) 
= 有 | 2 


的 解 . 
证 明 考虑 问题 (5.2.1) 的 Lagrange 函数 


L(z, )) 一 去 xTGe 十 rrx 十 iT(hr 一 中 ， 


则 问题 (5. 2. 1) 的 K-T 条 件 就 是 线性 方程 组 (5. 2. 2). 由 定理 5. 1. 1 ,定理 5. 2. 1 
成 立 . 

例 5.2.1 求解 凸 二 次 规划 问题 
min{f(x) 一 也 十 2z 十 3z 十 zi 十 3zs 十 zs); 


S.t. zi 十 2zr: 一 2z: 一 3， 


ZI 一 Zaz 十 2zs 一 一 1. 


2 0 0 1]1fzm1 [一 1 

0 4 0 一 Ta 一 3 

0 0 6 一 zi|= |—1 

1 2 一 2 0 a 3 

sd ol 一 1 

求解 方程 组 得 到 

_ 6 2 1 3 
I T° 2 7’ TI 7，?z 一 一 了 
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因此 ,二 次 规划 的 最 优 解 及 相应 的 乘 子 为 
T 
人 


§ 5.2.2 等 式 约束 二 次 规划 问题 的 变量 消去 法 

直接 用 定理 5. 2. 1 求解 等 式 约束 问题 时 ,问题 的 维 数 由 nn 变 成 了 n 十 m, 问 
题 的 维 数 增 大 了 许多 ,一 种 克服 上 述 缺 点 的 方法 是 变量 消去 法 . 

首先 对 矩阵 4 作 分 块 . 不 妨 设 4 的 前 m 列 线性 无 关 . 设 


4 二 (As, Av) 且 4aE R" 非 奇异 ， 


则 相应 的 分 块 有 


因此 ,等 式 约束 问题 (5. 2. 1) 可 以 写成 


min{ f(x) = 去 (zzcaaxa + xiGenxn + XMGnsxa + 


XNGawnxN) +rixs + rxn); (5.2.3) 


St Apxs+Anxn = b. 
考虑 问题 (5. 2. 3) 的 约束 条 件 . 由 于 As 非 奇 异 ,可 将 xs 表示 成 x 的 函数 , 即 消 
去 xs ,得 到 
xa 一 As'b — As'Anxn. (5.2.4) 


将 它 代入 问题 (5. 2. 3) 中 的 目标 函数 ,得 到 相应 的 无 约束 问题 ,其 目标 函数 为 
f(xn) = 二 L(G 一 ATATTGm 一 
GvsAs'An + ANAs' GasAs'An)xy 


[b'As' (Gav — GasAB'AN) + (rh — riAsAn) Jxy 


本 6"AsTGaaAs'b +rlAs'b. 


Gu = Go — ANAFTGsy — GusAs'An + ATA3TG AT An, 
Fy=ry— AvAs'rat (Gxs — AnAs'Gss )As'b, 


oo 


一 到 574irGasha0 + riAnb, 
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则 相应 的 无 约束 问题 为 
min| F(xw) = eh Gury 十 PRzw 十 时 } (5.2.5) 
若 Gn 是 正定 对 称 矩 阵 , 则 问题 (5. 2. 5) 有 唯一 解 
如 一 一 GNPw， 
由 (5. 2.4) 式 可 以 得 到 问题 (5. 2. 5) 的 解 
ee 请 ]- As'b er oi 
XN 


— EvPy 
由 于 相应 的 乘 子 4* 满足 


Gx’ 十 r 十 4 =0, 

As 0 
x + | 
XN ry AN 0 


和 =—As' (Gaexs + Gowry + re). 
定理 5.2.2 若 等 式 约束 问题 (5. 2. 1) 中 的 G 是 正定 对 称 矩 阵 , 则 相应 的 无 


约束 问题 (5. 2. 4) 中 的 Gw 也 是 正定 对 称 矩 阵 . 
证 明 ”构造 矩阵 


即 加 | 


所 以 


过 Ps 


I 


并 且 rank(F) = n 一 m, 因此 
| 
Gy = FTGF = (— AnAsT, 1D) | co]| | 
由 于 下 是 列 满 秩 的 ,并 且 G 正定 ,因此 Cw 也 是 正定 的 ,对 称 性 显然 口 
定理 5. 2. 2 表明 ,对 于 等 式 约束 的 严格 凸 二 次 规划 问题 ,可 以 用 直接 消去 法 
得 到 原 问 题 的 解 . 
例 5.2.2 用 直接 消去 法 求解 凸 二 次 规划 问题 
min{f(x) = zi + zi + zi}; 


S.t. Zz 十 272 Zz = 4, 


NB GN 


Ti1 Xz: =—2. 
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解 ” 将 约束 写成 
(= +27 = 4+z， (5.2.6) 
lz1 — zx: 一 一 2 一 二 
解 方程 组 ,得 到 
二 0 一 于 nz 一 2 十 人 (5.2.7) 


将 (5. 2.7) 式 代入 目标 函数 f(x) 中 ,得 到 无 约束 问题 
min{ 了 (a) = 基 避 十 号 mn 十 4 (5.2.8) 


求解 无 约束 问题 (5. 2. 8) ,得 到 


代入 (5. 2.7) 式 中 ,得 到 约束 问题 的 解 


人 


-| 


注意 到 乘 子 4" 满足 方程 


因此 ,有 


-lo AS > 


求解 前 两 行 得 到 4; 一 一 也 ,2; 一 秆 . 


直接 消去 法 简单 直观 , 它 的 不 足 之 处 是 :As 可 能 接近 一 奇异 矩阵 ,由 (5. 2. 4) 
式 求解 x" 将 会 使 数值 不 稳定 ,所 以 人 们 考虑 避免 这 个 问题 的 直接 消去 法 , 即 广 
义 消 去 法 (generalized elimination) ,这 里 不 再 深入 讨论 . 


§5.3 有 效 集 法 


本 节 讨 论 凸 二 次 规划 的 有 效 集 法 (active set method). 有 效 集 法 的 基本 思想 
是 通过 求解 有 限 个 等 式 约束 二 次 规划 问题 (5. 2. 1) 来 得 到 一 般 约 束 二 次 规划 问 
题 (5. 1. 1) 的 解 . 
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由 定理 5. 1. 1 可 知 , 若 x" 是 约束 问题 (5. 1. 1) 的 全 局 解 , 则 x* 是 约束 问题 
(5. 2. 1) 的 全 局 解 . 因此 ,只 要 能 确定 出 x* 处 的 有 效 约束 指标 集 I(x" ), 通 过 求 
解 等 式 约束 问题 (5. 2. 1) ,就 可 得 到 一 般 约束 问题 的 解 . 


$ 5.3.1 有 效 集 法 的 基本 步骤 
已 知 x 是 一 般 约束 问题 (5. 1.1) 的 可 行 点 ,确定 相应 的 有 效 约束 指标 集 


I(x)= ilealx! =6,i€ 1, (5.3.1) 


并 假设 ai(i € E U I(x')) 线性 无 关 . 
考虑 等 式 约束 问题 
min{ 7(z) 一 Gr +rix); (5. 3.2) 
st. ax—b=0,i€EUI(x'). 
求解 等 式 约束 问题 (5. 3. 2) ,其 解 为 下 ,相应 的 乘 子 为 .下 面 分 儿 种 情况 进行 
讨论 : 

(1) 若 式 冯 江 ,由 于 是 问题 (5. 3.2) 的 解 ,因此 有 

(已 ) < f(r), (5.3,3) 
再 分 两 种 情况 进行 讨论 . 

@ 若 不 是 原 问 题 的 可 行 点 ,此 时 取 x* = 于 ,车 x 在 原 非 有 效 约束 的 内 
部 , 则 x 处 的 有 效 约束 个 数 不 变 , 即 I(x?) = (x!); 若 x 在 原 非 有 效 约束 某 一 
不 等 式 约束 的 边界 上 (不 妨 设 是 第 p 个 约束 ), 则 在 x? 处 的 有 效 约束 个 数 增加 一 
个 , 即 I(x) 一 Te ) 十 12} ,重复 上 一 轮 计算 . 

@ 若 碌 不 是 原 问 题 的 可 行 点 ,构造 方向 

di 
由 于 x 是 可 行 点 ,这 表明 从 点 x 出 发 , 沿 方向 d! 前 进 ,在 达到 之 前 ,一 定 能 
遇 到 某 约束 的 边界 ,在 什么 情况 下 会 出 现 这 种 情况 呢 ? 我 们 再 作 进一步 的 分 析 . 


由 于 如 是 问题 (5. 3. 2) 的 解 ,因此 已 满足 等 式 约束 和 x! 处 的 有 效 约束 , 问 
题 只 能 出 现在 那些 非 有 效 的 约束 上 , 令 


x 二 x 二 ad'. 
考虑 zE I(x!), 要 求 


Qlx—b;= Qlx!—b+og!d! 二 0. (5.3.4) 
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当 @a 增 加 ,只 有 当 @id' > 0 时 , 才 有 可 能 破坏 约束 条 件 (5. 3.4) ,因此 


ra 
a ord >0, 
即 得 到 
= 
z= min 们 人 ad > 0, i¢ I(x') 
bs 一 arTx1 
asd “ 


此 时 ,x 二 x 十 ad! 是 问题 (5. 2. 1) 的 可 行 点 ,并 且 满足 f(x ) 过 f(x ). 由 推导 
过 程 可 知 ,在 x 处 的 有 效 约束 指标 集 T(x ) 满 足 I(x*) = I(x') 十 1p}, 重复 上 
一 轮 计算 . 

(2) 若 浆 = 局 ， 它 表明 六 无 进展 , 仍 分 两 种 情况 讨论 . 

@ 若 存在 9E I(x), 并 且 相 应 的 乘 子 必 < 0. 在 问题 (5. 2. 1) 中 的 约束 
aox 一 bs 一 0 上 加 一 个 扰动 se < 0, 即 得 到 扰动 约束 alx 一 b = e,. 求解 相应 的 
扰动 问题 , 设 其 解 为 如 (6,) ,由 Lagrange 乘 子 的 意义 或 直接 通过 相应 等 式 约束 
的 K-T 条件 即 可 知 


fF(e)) lo >0. 
这 表明 当 es 由 0 开始 减少 时 ,最 优 目标 值 函数 也 随 着 下 降 . 换 句 话说 ,在 等 式 约 
束 问题 (5. 2. 1) 中 去 掉 约 束 erx 一 包 = 0 时 , 则 可 得 到 一 个 更 好 的 点 . 因此 , 令 
=F =r,1r)= I(x)— lg}. 


重复 上 一 轮 计算 . 
@ 若 术 宇 0, YiE I(x'), 此 时 ,二 == x! 是 K-T 点 .由 定理 5.1.1 可 知 x 
是 二 次 规划 的 解 . 


$5.3.2 等 式 约束 问题 的 化 简 
在 有 效 集 法 中 ,需要 求解 若干 个 等 式 约束 二 次 规划 问题 (5. 2. 1) , 现 对 问题 
(5. 2. 1) 进行 化 简 , 设 ** 是 一 般 二 次 规划 的 可 行 点 , 令 x = 共 十 d, 则 
f(x) = xTGr 十 rrx 


(¥+d) G(x +d)+ri(x +d) (5:3.5) 


dGd + Vf(x')Td + f(x:). 
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而 对 于 等 式 约束 和 有 效 约束 ,有 


ci(x) = Qlx—b = alx:—b+a'd = 0, 


因此 
ard =0,i€ EU 1(x). (5. 3.6) 


结合 (5. 3. 5) 式 和 (5. 3. 6) 式 ,等 式 约束 二 次 规划 问题 化 简 为 
min 去 drGd + V(x ) Tad; 
st. ald=0,i€EUI(x). 
由 此 得 到 求解 一 般 约束 二 次 规划 的 有 效 集 法 . 


§5.3.3 有 效 集 算法 
下 面 给 出 求解 凸 二 次 规划 (5. 1. 1) 的 有 效 集 法 的 步骤 . 
(1) 取 初 始 可 行 点 x , 即 x' 满足 
alx'—b=0,i€ EE,alx—b<0,i€l, 
确定 x' 处 的 有 效 约束 指标 集 
I(x')= |ilalx'—b=0,i€1|, 
置 k=1. 
(2) 求解 等 式 二 次 规划 问题 
min $d'Gd + V(x )Td; 
st ad=0,i€EUI(x), 
得 到 at*. 
(3) 车 由 = 0, 则 计算 相应 的 乘 子 区 . 若 儿 宇 0，YiE I(x*), 则 停止 计算 
(x* 为 一 般 二 次 规划 (5. 1. 1) 的 解 ,4* 为 相应 的 乘 子 ) ;否则 求 
X= mindX |i€ I(x:)}, 
并 置 x 二 计 ,， T(x 全 ) 二 1(x) 一 |qj, k: 一 大 十 1, 转 步骤 (2). 
(4) 若 d* 关 0 , 则 计算 


a 但 一 ae 
a n 
ard* 


@a'd* >0,i¢ I(x:) 


一 
Qsd* 
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取 au = mint 68,11, 置 ?二 对 十 axd*. 如 果 aw 一 人, 则 置 IOxt) 二 I(x) 十 
{p41 ;否则 置 x) 一 I( 交 ), 置 := 有 十 1, 转 步 骤 (2). 
例 5.3.1 用 有 效 集 法 求解 如 下 二 次 规划 问题 


min} f(x) = zi + zi —2z 一 4zzj; 
st a(r)=z+z—1<0, 
cz(x) =— zx SO, 
ca(x) =— x: <0, 


取 初 始点 x' 一 (0, 0)". 
解 计算 VA(x) = (2zi 一 2, 2zxz 一 4). 因 为 x' = (0, 0)7, 所 以 I(x') = 
12, 3|, Vf(x') 二 (一 2, 一 4)7， 相应 的 等 式 约 束 问 题 为 


minid + di — 2d; — 4d;}; 
st —d,=0, 
—d;=0. 


由 等 式 约束 问题 的 一 阶 必要 条 件 得 到 


2 0—1 olfa 
0 2 0 -1lla, 
-1 0 0 oo， 
0 -1 0 on 


QG 口 必 愉 


求解 方程 组 得 到 4d, = 0，d: 一 0, 4 == 一 2, ha 一 一 4, 即 出 = (0, 0)',X' 一 
(0, 一 2, 一 4)"7, 所 以 x 二 (0, 0)" 不 是 最 优 解 . 
再 进行 第 二 轮 计算 , 取 x 二 (0, 0)", I(xY) = T(x') 一 131 = 12|, 相应 的 
等 式 二 次 规划 问题 为 
min{di + di —2d, — 4d,|; 
Ss.t. ~—d=0, 


相应 的 一 阶 必要 条 件 为 


2 0 一 1]fw 2 
0 2 0||a | = 。 
一 1 0 0j az 0 
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求解 方程 组 得 到 d, 一 0, d, = 2, 即 d? 二 (0, 2)". 计算 


所 以 台 一式 十 esd 一 (0, 0)7 十 于 (0, 2)" 一 (0, 1)7. 由 于 一 人: 一 去 , 因 


此 在 x 处 的 有 效 约束 集 IC ) = 节 关 ) 十 1 = 11，21. 
下 面 进行 第 三 轮 计算 .在 x* 处 Vf(e) = (一 2, 一 2)7, 相应 的 等 式 约 束 问 
题 为 
min| 必 十 用 一 2d — 24d,}; 
Ss.t. d+d,=0, 
—d: = 0. 


由 等 式 约束 问题 的 一 阶 必要 条 件 得 到 


2 0 1 一 1]1a， 2 
0 21 ollal_|2 
i 总 al | 中 
a A2 0 


解 方程 组 得 d; =0, d; =0, 加 一 2, 4 二 0, 即 d= (0, 0)"T, X= (2,0， Os 
因此 x? = (0, 1)" 是 解 ,二 (2, 0, 0)" 是 相应 的 乘 子 . 

在 实际 计算 中 ,初始 点 x 的 选取 并 非 易 事 ,需要 用 类 似 于 线性 规划 求解 初 
始 基本 可 行 点 的 方法 构造 辅助 问题 ,得 到 初始 可 行 点 . 若 二 次 规划 是 严格 凸 的 ， 
且 是 非 退化 的 , 则 用 有 效 集 法 并 经 有 限 步 运算 ,可 求 出 二 次 规划 的 解 (证 明 略 ). 
当 G 是非 正定 矩阵 时 ,按照 上 述 方法 计算 ,有 可 能 得 不 到 解 . 若 想 求 出 解 , 需 对 
算法 作 必 要 的 改动 ,这 里 就 不 深入 讨论 了 . 


司 题 五 


5.1 求解 二 次 规划 问题 
min{f(x) = zi+ z+ zil; 
St +2r zx 一 4 


ZT1—Zz 二 zi = 1. 


5.2 


5.3 


5.4 


5.5 


5.6 


5.7 
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用 有 效 集 法 求解 下 列 二 次 规划 问题 
min{ f(x) = x? — zizs + 27} — zi — 10r:}; 
st 3n+2r <6, 
zi 宛 0, zx: 之 0. 
用 有 效 集 方 法 求解 下 列 问题 
min{ f(x) = 9zi + 9z: — 30z, — 72z2|; 
st —2r—zx >—4, 
zi >0, za 过 0. 
取 初 始 可 行 点 x = (0, 0)™. 
用 Lagrange 方法 求解 下 列 问题 
全 min| f(x) = 2zi + z+ zz — zi — zls 


st A+r=l1. 


min| f(x) 一 于 世 十 到 过 十 二 本 1 


st 为 十 2rs 一 站 一 4， 


(2) 
-n+xn -n=2. 
解 下 面 二 次 规划 问题 并 且 作 图 解释 几何 意义 
min| f(x) = 4z? + z++2z + 3z: + 2z1ze); 


st ZI 一 Za 过 0. 
从 一 点 ao 的 超 平面 |x | Ax = 中 寻找 最 短 距离 能 构成 二 次 规划 形式 (这 里 4 是 行 满 秩 
矩阵 ) 
minl7(z) = 二 (zn) T(r ls 
st Ar=b. 
证 明 最 优 乘 子 为 ”一 (447)"1(b 一 Ax ) ,最 优 解 为 x* 一 x 一 AT(AAT)-1(b 一 Ax')， 
并 县 证明 当 4 是 行 向 量 时 ,从 x 至 Ar 一 的 可 行 解 集 的 最 短 距离 为 上 下 
写 出 下 面 既 有 等 式 约束 又 有 不 等 式 约束 的 二 次 凸 规划 的 K-T 条件 
min{e(z) = 去 xzrGxe+xrd}; 
at A'x> $b, 
Arx = 
这 里 G 是 半 正 定 矩 阵 . 
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5.8 求解 如 下 二 次 规划 


mini f(x) = z+z—2nz: —27 一 6zz|; 
st Zz <2, 

-zi+2z: <2, 

10, zr>0. 
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本 章 我 们 主要 讨论 具有 约束 的 一 般 优 化 问题 的 求解 方法 . 为 方便 起 见 ， 现 将 
约束 最 优化 问题 表示 如 下 : 


min f(x); 

s.t. c(x)=0,i€EE= {1,2,.,1), 
cx) C0,i€EIT= (+l, Ll+2, ,Lt+m}, 
xER， 


其 中 ,可 行 域 DD 记 为 
D= {x|c(x) =0,i€ E;c(x)<0,i€ lxE R'). 


显然 ,求解 约束 优化 问题 要 比 求解 无 约束 优化 问题 复杂 困难 ,因而 求解 方法 也 就 
多 种 多 样 . 但 归纳 起 来 ,大 致 可 以 分 为 两 类 :一 类 是 前 面 章节 中 介绍 的 方法 , 即 利 
用 约束 优化 问题 本 身 的 性 质 , 直 接 求解 ; 另 一 类 就 是 本 章 要 重点 介绍 的 方法 , 即 
罚 函 数 法 . 罚 函 数 法 是 利用 目标 函数 f(x) 和 约束 务 数 c(Y) ,构造 具有 “惩罚 性 
质 ” 的 函数 PCx) 一 巨 (F(xz)，cCxz))， 使 原 约束 优化 问题 转化 为 求 PCx) 最 优 解 的 
无 约束 优化 问题 . 罚 函 孝 法 又 分 为 外 罚 函 教 法 和 内 罚 函 数 法 两 种 . 在 以 下 的 讨论 
中 ,我 们 假定 所 有 函数 都 是 连续 的 . 


§6.1 外 罚 函 数 法 


外 罚 函 数 法 是 一 类 不 可 行 点 的 方法 ,其 基本 思想 是 ,在 求解 无 约束 优化 问 
题 时 ,通过 对 不 可 行 的 迭代 点 施加 征 罚 ,并 随 着 迭代 点 的 进展 , 增 大 惩罚 量 , 迫 
使 迁 代 点 逐步 向 可 行 域 靠近 ,一 旦 和 迭代 点 成 为 一 个 可 行 点 , 即 为 所 求 的 原 问题 
的 最 优 解 . 


$6.1.1 外 罚 函 数 法 
首先 ,我 们 考虑 仅 有 等 式 约束 的 优化 问题 
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min f(x), x € Ri; 


st c(x)=0,i=1,2,..,L. (6.1.1) 
记 
B(x) = 2) | clx) | p>1, 
定义 如 下 形式 的 外 罚 函数 


P(x, o) = f(x)+oP(x) 
= f(x)+oD) | clx) |, p>1, 

其 中 ,o > 0 是 一 参数 . 

显然 ,外 罚 函 数 P(x, o) 具 有 以 下 性 质 : 当 x 为 可 行 点 时 ,有 P(x) = 0, 于 
是 P(x, o) = f(z); 而 当 x 不 是 可 行 点 时 ,有 P(x) > 0, 于 是 P(x, o) > f(x). 
特别 地 , 随 着 o 的 增 大 ,P(x) 也 不 断 地 增 大 , 当 o 充分 大 时 ,P(x) 剧 烈 地 增 大 . 所 
以 ,要 使 P(x, o) 取 到 极 小 值 ,P(x) 应 充分 小 , 即 P(x, o) 的 极 小 点 应 充分 通 近 
可 行 域 .于 是 ,优化 问题 (6. 1. 1) 就 转化 为 无 约束 优化 问题 

min {P(x, o) = f(x) +oP (x)}. 

通常 , 当 B= 1 时 , 记 (x) 在 使 某 个 c(x) = 0 的 点 处 不 可 微 , 故 一 般 地 , 取 

B= 2. 此 时 ,外 罚 函数 P(x, o) 的 形式 如 下 : 
P(xs 0) = f(x) +o der). (6.1.2) 


例 6.1.1 求解 下 列 约束 优化 问题 
min {f(x) 一 zi 十 zz 


st. c(x)=Zz:— z= 0. 
解 ”这 是 一 个 带 有 简单 约束 的 优化 问题 , 它 等 价 于 下 面 的 无 约束 优化 问题 


min | zi + zil. 
显然 , 它 有 最 优 解 x* 一 (一 去 ,二 ) ,f(x* ) = 一 卫 . 现在 我 们 用 外 罚 函 数 法 求 


解 , 构造 外 罚 函 数 
P(x, ca) = z+z: +o(zs — zx?)’, 
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利用 解析 法 求解 
下 1— 4ari(zs — x!), 站 = 1+20(z: — z1). 
令 
WP(x, o) =0, 
得 到 
x1(o) = 一 去 ， Zz(0) = 二 一 志 ， 
再 令 c 一 十 ce ,得 


zx) = (mo mo 一 x = 人 (二 ,十 ) ， 
工 
4 


P(z(o)，o) = 一 二 一 站 一 fx ) = 一 


4 
就 是 原 问题 的 最 优 解 . 
其 次 ,我 们 考虑 不 等 式 约束 的 优化 问题 
min f(x); 
st c(x) SO0,i=1,2,.,1, (6.1.3) 
xER" 
记 


B(x) = 六 [maxo， ci(x))], a>1, 
定义 如 下 形式 的 外 罚 函 数 
Plx, o) = f(x) +o Dfmax(0, ci(x)) ,a> 1. 
| 


同样 ,外 罚 函数 P(x, o) 也 有 类 似 的 性 质 , 即 当 x 为 可 行 点 时 ,有 B(x) = 0， 
于 是 P(x, o) 一 f(x); 而 当 x 不 是 可 行 点 时 ,有 P(x) > 0, 于 是 P(x, o) > 
了 (x). 当 a 充 分 大 时 ,P(x) 剧 烈 地 增 大 . 所 以 ,迫使 P(x, o) 在 非 可 行 点 上 不 能 
达到 最 优 解 . 

通常 ,P(x) 在 使 某 个 c(x) = 0 的 点 上 不 可 微 , 取 a = 2. 此 时 ,外 罚 函数 
P(x, a) 的 形式 如 下 : 


P(x, o) = f(x)+oD) (max(0，ci(z)))2. (6.1.4) 
各 
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例 6.1.2 求解 下 列 约束 优化 问题 
min {f(x) = zi + zi}; 
s.t. c(x)=1—z<0. . 
解 显然 ,最 优 解 x” 二 (1, 0)", f(x* ) = 1. 现在 我 们 用 外 罚 函数 法 求 
解 . 构造 外 罚 函 数 
P(x,o) = zx?+zi+olmax(0, 1— xz)] 
sn ys 
z+nton 1), zi <l. 
利用 解析 法 求解 


aP _ f2z, 立志 1，3P 
az 2zi 十 2c(z 一 1)， zi <1， azz 
令 


得 到 破坏 约束 的 点 


x1(o) = zz(o) 一 0， 


再 令 c 一 十 co ,得 


x(o) = (x1(0), x2(0))T x" = (1, 0)7T， 
P(x(a), o) = ea >/f(x')=1, 
就 是 原 问 题 的 最 优 解 . 
最 后 ,我 们 考虑 一 般 的 约束 优化 问题 , 即 
min f(x); 
st c(x)=0,i€E=|1,2,.,17), 
ci(x) <0,i€ET= I+1, 1+2, ,1+m}, 
x GE R". 


由 于 此 时 约束 中 既 有 等 式 约束 ,又 有 不 等 式 约束 , 故 记 


(6.1.5) 


> 上 Hm 
B(x) = 2 | elx) |e+ > [max(0, cx))}, a>1,8>1. 
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类 似 地 ,定义 如 下 形式 的 外 罚 函 数 
dm 

P(x,0) = (xz) 十 c[ BD) | clx) 1 十 > [max(0，ci(x))]]. 
全 i 


显然 ,上 述 函 数 也 具有 前 面 两 种 情况 下 我 们 讨论 的 性 质 . 

通常 ,我 们 取 a = 8 = 2. 

通过 以 上 3 种 情况 的 分 析 ,我 们 可 以 看 到 ,外 罚 函 数 法 是 将 有 约束 的 优化 问 
题 转化 为 无 约束 的 优化 问题 ,而 这 个 无 约束 的 优化 问题 的 最 优 解 即 为 原 问题 的 
最 优 解 . 同时 ,我 们 由 前 面 两 个 例子 也 可 以 看 到 ,外 罚 函 数 P(x, o) 的 最 优 解 
x(c) 在 一 十 ce 的 过 程 中 ,一 直 在 可 行 域 的 外 部 取 点 ,直到 趋 近 最 优 解 x" . 所 
以 , 称 这 种 方法 为 外 罚 函 数 法 ,简称 外 点 法 . P(x, c) 为 外 罚 函 数 ,或 叫 增 广 的 目 
标 函数 ,c 为 惩罚 因子 ,B(x) 为 惩罚 项 . 

一 般 地 ,对 于 带 有 简单 约束 的 优化 问题 ,外 罚 函 数 法 可 以 使 其 转化 为 简单 的 
无 约束 优化 问题 ,从 而 ,利用 解析 法 就 可 以 求 出 其 最 优 解 . 但 是 ,对 于 比较 复杂 的 
约束 ,利用 外 罚 函 数 法 转化 为 无 约束 优化 问题 后 ,往往 不 能 直接 求 出 其 最 优 解 ， 
所 以 ,我 们 通常 要 采用 和 迭代 的 方法 . 下 面 ,我 们 将 给 出 外 罚 函 数 法 的 具体 算法 . 

算法 6.1.1 (1) 给 定 初始 点 癌 , 设 es 0, c> 1 为 给 定 实数 ,选择 序列 
orl, 使 0 一 十 oo0, 令 有 == 1; 

(2) 以 惟一 为 初始 点 ,求解 无 约束 优化 问题 

min {P(x, o) = f(x)+oB(x)}, 

得 到 最 优 解 *; 

(3) 若 oP (x*) 天 e, 则 停止 迭代 ,xx 作为 原 问题 (6. 1.5) 的 最 优 解 ;否则 , 令 
un 二 co4，,k: 一 人 十 1, 转 步骤 (2). 

注意 以 下 几 点 : 

(1) 初始 点 x 的 选取 是 任意 的 ,可 以 是 可 行 域 的 外 点 ,也 可 以 是 可 行 点 ; 

(2) 在 算法 过 程 中 , 令 our = ore, &: 一 十 1, 转 步 骤 (2). 这 样 做 能 够 保证 
到 某 一 步 , a.P (xz) < e, 这 正 是 下 面 定理 所 述 的 问题 ,定理 给 出 了 正面 回答 . 


$6.1.2 外 罚 函 数 法 的 收敛 性 质 

定理 6.1.1 设 P(x,o)==f(x)+oP(x), 上 且 oin 之 0 之 0. 如 果 P(x, wa) 
与 P(x, ow) 分 别 在 业 与 x*+! 处 达到 (无 约束 ) 全 局 极 小 , 则 

(1) 序列 |P(x*, o.)| 单 调 递 增 ; 

(2) 序列 | 记 (x*)| 单 调 递 威 ; 

(3) 序列 | (xx:)} 单 调 递增 . 
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证 明 (1) 由 于 六 是 P(z, ax) 的 全 局 极 小 点 , 故 
POztr， gn) = (zt ) + onP(rn) 
fe )+oP (x ) 
= P(r, o) 
P(x, a). 
所 以 ,1P(x**， i) 是 单调 递增 的 序列 . 
(2) 由 于 太 是 P(x, o4) 的 全 局 极 小 点 , 故 
P(x , o) > P(x:, o,). 
将 上 述 不 等 式 展开 ,有 
fw ) tap (rn) > f(r) +aP (x). (6.1.6) 
又 由 于 愉 + 是 P(x, or) 的 全 局 极 小 点 , 故 
P(x', on) > P(x, orn). 
同样 ,将 上 述 不 等 式 展开 ,有 
fx) tomB(x) > fe ) + onB(rt). (6.1.7) 
将 (6.1. 6) 式 和 (6.1.7) 式 相 加 ,得 到 
on P(r) +oP (x) < onP(x) + oP x+ )， 


即 
(P(x:)— B(x)) < on (Px) — P(x )). 


注意 到 on 过 cx > 0, 故 
B(x:) > P(x ), 


说 明 { 巨 (六 )} 是 单调 递减 的 序列 . 

(3) 由 (6.1.6) 式 可 知 

fx) — fx) oP(x) — P(r)) >0, 
于 是 
fA 

即 f(x*) 是 单调 递增 的 序列 ， 口 

定理 6.1.2 设 x" 是 约束 优化 问题 (6.1.5) 的 全 局 极 小 点 . 令 {6,| 为 一 正 数 
序列 ,满足 on 之 a(k 二 1,2,…) 且 o4 ->+co. 若 烧 是 P(x, oa) 的 全 局 极 小 
点 , 则 |*| 的 任何 京 点 F 必 为 问题 (6. 1. 5) 的 最 优 解 . 
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证 明 不 妨 设 坟 一 亏 
首先 证 明 |P(x*, os)} 17( 共 ) 和 | 巨 (过 )} 都 是 有 界 的 序列 . 
由 于 x" 是 问题 (6.1.5) 的 全 局 极 小 点 , 故 x" 是 一 个 可 行 点 ,于 是 有 
P(x:, 0) < P(x* , 0,) 
= f(x*)+aP(x*) 


< fx" ), 
及 
f(x:) < fw)+aP (x) 
= P(x:, o) (6.1.8) 
< f(x"). 
这 意味 着 |1P( 志 ,om ) 上 ，|7(z)| 都 是 单调 递增 且 为 有 界 序列 ,极限 必 存 在 ,不 妨 
设 为 六 和 让 


由 于 
P(x:, am) = f(x:)+oP (x:), 


令 kt 一 十 co ,两 边 同 时 取 极限 ,得 
dim, P(x , 0) = lim 7 地 ) 十 im oP (x), 
也 就 是 
im oP (x) =p—f. 
注意 到 当 k- 十 co 时 ,0, 习 十 吕 , 所 以 必 有 
Jim B(x) = 0， 
即 P( 必 ) 是 单调 递减 且 趋 于 0 的 序列 . 


其 次 ,证 明 x* 是 全 局 极 小 点 , 即 f(x) = f(x* ). 
由 于 P(x) 是 连续 函数 , 且 x* 一 x, 故 


P(x)=0, 
说 明 x 是 可 行 点 .但 因为 x" 是 问题 (6. 1. 5) 的 全 局 极 小 点 , 故 
f(x°) < f(a). (6.1.9) 
再 根据 (6. 1. 8) 式 ,两 边 同 时 取 极限 ,有 
fF) = lim f(x) < f(x° ). (6.1.10) 


综合 (6.1.9) 式 和 (6.1.10) 式 ,得 f(x) = f(x" ), 从 而 是 一 个 全 局 极 小 点 。 口 
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值得 注意 的 是 ,在 定理 6. 1. 2 中 ,不 要 求 序列 { 闪 1 有 唯一 的 聚 点 . 实际 上 ,通过 
定理 的 证 明 我 们 知道 ,无论 { 邓 1 有 几 个 聚 点 ,都 必 为 原 优化 问题 的 极 小 点 . 另外 ,由 
(6.1.8) 式 可 知 , 让 过 pP 过 f(x" ) 二 及 ,所 以 pr 二 下, 也 就 是 说 ,iP(x*, o4)] 
和 |7(z )} 都 是 单调 递增 序列 , 且 极 限 相等 ,这 就 意味 着 成 立 


lim oP (x) = 0. 
Pe 


正 是 由 于 这 一 点 ,使 得 我 们 在 算法 中 将 o.P (x) < e 作为 收敛 的 判别 准则 .只 要 
ox ( 允 ) 足 够 小 , 求 P(x*，, 04) 的 极限 ,就 能 得 到 原 约束 问题 的 极 小 值 . 

定理 6.1.3 设 /(x), ci(x) (i€ EUIT= 141,2,…,l+m|) 具有 连续 的 
一 阶 偏 导数 ,约束 问题 (6.1.5) 的 全 局 最 优 解 存在 ,惩罚 因子 {o, 1 递增 趋 于 十 oe， 
若 必 是 外 罚 函 数 P(x, a ) 的 全 局 解 , 且 x# 一 x* (k 一 十 oo), 在 x" 处 Ve;(x*) 
(iE€ EUIT(x" )) 线 性 无 关 , 则 x" 是 约束 问题 (6. 1. 5) 的 全 局 解 , 且 


dm 2aci(x) =X ,i=1,2, wy bs (6.1.11) 


lim 20.max{0, cw) = ,i=L+l, Ll+2, ,Lt+m, 


(6.1.12) 
其 中 4' 是 x* 处 的 Lagrange 乘 子 . 
证 明 ”由 定理 6.1.2 可 知 ,x* 是 约束 问题 的 全 局 解 . 所 以 ,只 需 证 明 (6. 1. 11) 
式 和 (6. 1. 12) 式 成 立 . 
因为 + 是 外 罚 函 数 P(*, om ) 的 全 局 解 , 则 有 


WP(x', o) = 0, 


V(x )+ 20( Dc (x) (六 ) 十 


Lim 


maxto, cx)} Vei(x:)) = 0. (6. 1.13) 


当 i€ II” ) 时 ， 有 utx: ) 二 0, 则 存在 反 , 当 &> 之 氏 时 ,有 ci( 叉 ) < 0， 
此 


im cmax{0, ox) =0=X, i€ /Ix'), 
于 是 ,(6.1.13) 式 改 为 
WY) + aml Dat) Wl) + 
2) maxio, a Wl) =0. 


iENx") 
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从 约束 问题 的 一 阶 必要 条 件 知 
Vr)+ DD A Vlx’)=0, 


i€EEUN(x" ) 
且 Vei(x* )(i € EU I(x" )) 线性 无 关 ,因此 , 当 k 一 十 co 时 ,有 
2oci x) A ,i=1,2,.,1, 
2amax{0, cx)} A ,i=l+1, Ll+2, ,lm, 


定理 6.1.3 表明 , 令 Xt = 20wci(x), iE€ E,X=20max{0, c(x)},i€ET 
作为 约束 问题 的 Lagrange 乘 子 的 近似 值 . 


$6.1.3 外 罚 函 数 的 病态 性 质 

不 妨 假定 最 优化 问题 仅仅 具有 等 式 约 束 , 即 考虑 问题 (6. 1. 1) ,并 且 假 定 当 
一 十 co 时 ,zx . 

此 时 ,外 罚 函数 为 


Px, oa) = f(x) ta De), 
在 江 处 的 Hesse 矩阵 为 
VEP(x， om) = WD) 2 Dol) Viole) + 
zo Vi(x:) Vei(x:)T (6.1.14) 
= ViL(x, 4 +m 六 Vei(x:) Vei(x')T, 


其 中 ,L(x, 2) 为 Lagrange 函数 . 


4 
由 (6. 1. 14) 式 可 知 ，》) Ve.(x*) Vei(x*)T 的 秩 为 1, 故 当 m-> 十 co 时 ， 
各 
VP(x* ,a4) 有 4 个 特征 值 趋 于 oo, 而 其 余 特 征 值 为 有 界 .于 是 
Cond(ViP(x, a)) = | ViP(x:, a) + | VP(x:, oi.)7 |, 


即 条 件数 趋 于 oo, 说 明 V 人 p(x, o,) 具 有 病态 性 质 . 

所 以 ,在 使 用 外 罚 函数 法 时 ,就 会 产生 这 样 的 矛盾 :选取 很 大 的 m 或 者 o 
增加 很 快 ,可 以 使 算法 收敛 很 快 ,但 很 难 精确 地 求解 相应 的 无 约束 极 小 问题 ; 选 
取 小 的 a 且 wm 增加 缓慢 ,可 以 保持 x* 与 P(x, i+) 的 极 小 接近 ,从 而 使 求解 
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P(x, os+i ) 的 极 小 点 变 得 容易 ,但 收敛 太 慢 ,效果 很 差 . 因此 ,必须 在 两 者 之 间 进 
行 平衡 .究竟 如 何 选取 o 呢 ? 目前 还 缺乏 进一步 的 分 析 . 根据 经 验 , 通常 取 
ao 一 0.1X2. 


86.2 内 罚 函 数 法 


前 面 讲 过 的 外 罚 函 数 法 ,在 迭代 过 程 中 ,每 个 闪 都 在 可 行 域 的 外 部 ,所 以 ， 
当 在 某 个 充分 大 的 mx 处 终止 迭代 时 ,近似 最 优 解 过 一 般 只 能 近似 地 满足 约束 
条 件 .对 于 某 些 实际 问题 ,这 样 的 近似 最 优 解 是 不 可 能 被 接受 的 . 为 了 解决 这 个 
问题 ,从 这 一 节 开始 ,我 们 要 介绍 内 罚 函 数 法 . 


$6.2.1 内 罚 函 数 法 

内 罚 函 数 法 是 一 类 保持 严格 可 行 性 的 方法 ,其 基本 思想 是 ,在 求解 无 约束 优 
化 问题 时 ,严格 要 求 和 迭代 点 在 可 行 域 的 内 部 移动 . 当 迭 代 点 由 可 行 域 的 内 部 接近 
可 行 域 的 边界 时 ,将 有 无 穷 大 的 障碍 ,迫使 选 代 点 返回 可 行 域 的 内 部 . 

我 们 考虑 不 等 式 约束 的 优化 问题 (6. 1. 3) ,可行 域 的 内 部 记 为 


D™= {ERlea(s)<0, el 2 


1 


Ds c(x)’ 


定义 如 下 形式 的 内 罚 函 数 
P(x, r) = f(x)+rB(x) 

A Nh 

= f(x) "2 5 
其 中 r> 0 是 一 参数 . 

显然 ,内 罚 函数 P(x, r) 具 有 以 下 性 质 : 当 x 在 可 行 域 的 内 部 , 即 xE De 时 ， 

B(z) 为 一 正 数 . 当 ~ > 0 趋 于 0 时 ,P(x, r) 的 极 小 点 就 会 趋 近 于 优化 问题 
(6.1. 3) 的 极 小 点 . 当 x 从 内 部 趋 近 可 行 域 的 边界 时 ,至少 有 一 个 c;(x) 趋 于 0， 


会 导致 B(x) 剧 烈 地 增 大 ,迫使 极 小 点 落 在 可 行 域 的 内 部 . 于 是 ,约束 优化 问题 
(6. 1. 3) 就 转化 为 以 下 形式 的 优化 问题 


min P(x, 7), x € R"; 
st, C(x)<0,i=1,2,.,1. 
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例 6.2.1 求解 下 列 约束 优化 问题 
min {f(z) 一 到 zl; 
s.t. c(rz)=1—r<0. 
解 显然 ,最 优 解 二 一 1, f(zx" ) = 去 . 现在 我 们 用 内 罚 函 数 法 求解. 构造 
内 罚 函数 


r 


Plz, 7) = 


将 原 优化 问题 转化 为 以 下 形式 


和 A r 
min|P(z, r) 一 十 二 


st 1 一 Z<<0. 


利用 解析 法 求解 
Ee 
得 到 
Zz(r) = 1+ V2r. 
由 于 z(r) = 1 一 V2r < 1, 故 合 去 . 
再 令 一 0, 得 


z(r) 一 1 十 V2r 一 xz 一 1， 
Pl(z(r), 7) = 去 + Zr (rz ) 一 去 


就 是 原 问题 的 最 优 解 . 

由 上 面 的 例子 我 们 可 以 看 到 ,内 罚 函 数 法 也 是 将 有 约束 的 优化 问题 转化 为 
一 个 无 约束 的 优化 问题 ,但 可 行 域 由 D 变 成 其 内 部 D'. 内 罚 函数 P(x, 7) 的 最 
优 解 x(7) 在 0 的 过 程 中 ,一 直 在 可 行 域 的 内 部 移动 ,直到 趋 近 最 优 解 x* . 所 
以 ,我 们 称 这 种 方法 为 内 罚 函数 法 ,简称 内 点 法 . P(x, r) 为 内 缠 函数 . 由 于 B(x) 
是 约束 的 倒数 和 的 形式 , 故 称 B(x) 为 倒数 障碍 函数 . 

一 般 地 ,我 们 习惯 将 B(x) 取 成 对 数 形式 , 即 为 对 数 障碍 函数 


4 
B(x) =— DIn(— a(x)), 
bal 
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则 相应 的 内 罚 函 数 为 
P(x, r) = (xz) 一 ">)ln( 一 ci(z)). 
经: 


对 于 上 述 两 种 障碍 函数 , 哪 种 形式 的 效果 会 更 好 呢 ? 我 们 不 妨 先 看 一 个 例 
子 . 用 对 数 障碍 函数 重新 考虑 例 6. 2. 1. 
解 ”构造 内 罚 函 数 


P(z, r) 一 去 z 一 rm(z 一 1)， 
则 原 问题 转化 为 以 下 形式 


min |P(z, 7) 一 去 z 一 rn(z 一 Di 


i 


利用 解析 法 求解 

aPp 1 SE 

WN 
得 到 

zx(r) = 1+2r, 

再 令 一 0, 得 

z(r) 一 工 =1, 

P(z(7), 7) f(z)= 去 . 
就 是 原 问题 的 最 优 解 . 


对 比 这 两 种 解法 不 难 发 现 , 当 r 一 0 时 ,利用 对 数 障碍 函数 得 到 的 最 优 解 
z(r) 一 1 十 2r, 比 用 倒数 障碍 函数 得 到 的 最 优 解 x(r) = 1 十 V 绕 趋 于 zx* 的 速 
度 要 快 . 这 个 结论 对 于 一 般 情 况 也 是 成 立 的 . 因此 ,我 们 常常 选用 对 数 障碍 函数 
去 求解 相应 的 优化 问题 . 

下 面 ,我 们 给 出 内 罚 函 数 法 的 算法 . 

算法 6.2.1 〈1) 给 定 初始 点 x* € D? , 设 e>0, 0 过 c 过 1 为 给 定 实数 , 选 
择 正 值 序列 | 一 上 ,使 六 一 0, 令 二 1; 

(2) 以 兰 一 为 初始 点 ,求解 约束 优化 问题 


min {P(x, m) = f(x)+nB(x)}; 
ED 
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得 到 最 优 解 x*; 
(3) 若 mB( 六 ) <e, 则 停止 迁 代 , 芝 作为 原 问题 (6. 1. 3) 的 最 优 解 ;否则 , 令 
Tin 一 ort, A: 二 上 十 1, 转 步 又 (2). 
例 6.2.2 用 内 罚 函 数 法 求解 约束 问题 
min {f(x) = x? + 2r?}, 
St Ti 二 +z—1>0. 


解 ”构造 内 罚 函 数 
P(x(7), 7) = x? +2zi—rln(zi + zs —1), 
利用 解析 法 ,有 
P(N), 7) = (2 一 坷 二 二 1, 4 Fi) = 


得 
xD 一 人 LH ， 1 二 王孙 ja 


令 r0, 则 x() 一 x* = (生地) ,P(x(7),) 一 f(x*) = 


ww 


$6.2.2 内 罚 函数 法 的 收敛 性 质 

定理 6.2.1 设 x" 是 约束 优化 问题 (6.1.3) 的 全 局 极 小 点 , 且 D? 非 空 . 令 
{rr1 为 一 正 数 序列 ,满足 元 之 rin (一 1, 2, …) 且 六 一 0. 若 愉 是 P(x, rm) 在 
DD 内 取 到 的 极 小 点 , 则 x 的 任何 聚 点 5 必 为 问题 (6. 1. 3) 的 最 优 解 . 

证 明 首先 证 明 |iP(x*, rx)} 是 单调 递减 且 有 下 界 的 序列 . 

由 于 下 是 P(x, nin) 的 极 小 点 , 且 宇 mn, 故 


P(x:, rn)= f(x)+rnB(xr:) 
人 f(x)+rinB(x:) 
= P(xw, nn) 
P(x, nn). 


另外 ,由 于 x" 是 问题 (6.1. 3) 在 D 上 的 全 局 极 小 ,因此 x € De Cc D, 即 
fx’) > f(x ). 


进一步 
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P(x:, rn) = f(x)+nB(x) > f(x" ). 


于 是 1P( 地 , 六) 是 单调 递减 数列 且 有 下 界 , 故 它 有 极限 ,不 妨 设 为 如. 
接 下 来 证 明 f(x* ) 一 加 . 
假设 加 > f(x* ) 由 f(x) 的 连续 性 可 知 ,存在 > 0, 使 当 | x 一 x* 上 之 5， 
xED? 时 ,有 
7 一 fr ) 二 去 (加 一 Fr ))， 
即 
f(x) < fr ) 十 去 ( 加 一 Fr)) 


一 名 一 去 ( 加 一 Fr )). 
任 取 满足 ‖ 至 一 x <3 的 x E DD， 则 由 于 nn 一 0, 存 在 K, 因 此 当 之 K 时 ,有 
mnB(F) < 于 (加 一 7(x' ))， 


于 是 , 当 k 之 天 时 ,有 
P(x,n) P(E, n) 
= /(F)+nB(z) 
< 一 主 (p? 一 f(x*)). 
这 与 P(X，n) 一 p* 相 矛 盾 . 所 以 ,f(x* ) = 加 
最 后 证 明 /() = f(x* ). 
由 于 是 | 坟 | 的 聚 点 ,而 c( 双 ) < 0 (i = 1，2，…,0)， 且 ci(z) 是 连续 函 


数 , 故 
cA(F)S<0, i=1,2,..,1, 


即 元 为 可 行 点 . 又 因为 x* 为 极 小 点 ,所 以 
Fr ) < f(x). 
假设 f(x* ) < f(x), 则 
lim[f(x)— fx)] = (7)— fx")>0. 
于 是 


Px,r)— fx)= f(r)+nB(r)— f(x ) 
f(x)— f(x ), 
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不 趋 于 0, 这 与 
lm P(x ,mn)= p= fx) 


了 矛盾. 所 以 , f(x) = f(x ), 即 #x 为 最 优 解 . 

内 罚 函 数 法 的 好 处 在 于 ,每 次 迭代 的 点 都 是 可 行 点 , 当 迭 代 到 一 定 阶段 时 ， 
尽管 没有 达到 最 优点 ,但 可 以 接受 为 一 个 较 好 的 近似 解 .不 过 ,需要 注意 的 是 , 既 
然 内 罚 函数 法 严格 要 求 x 在 可 行 域 DD 的 内 部 移动 ,那么 D" 就 一 定 要 非 空 , 因 
此 ,内 罚 函数 法 不 能 处 理 等 式 约束 问题 . 

另外 ,内 罚 函数 法 与 外 罚 函数 法 一 样 , 当 - 充分 小 时 ,内 罚 函 数 P(x*, ri) 的 
Hesse 矩阵 也 会 出 现 病态 性 质 ,同样 会 给 无 约束 问题 的 求解 带 来 一 定 的 困难 . 通 
常 ,我 们 将 内 罚 函数 法 和 外 罚 函数 法 结合 起 来 使 用 , 称 为 混合 罚 函数 法 . 


§6.3 乘 子 法 


如 前 所 述 , 外 罚 函数 法 和 内 罚 函 数 法 的 主要 缺点 是 当 罚 函数 中 的 "一 十 co 
或 一 0 时 ,其 Hesse 矩阵 出 现 病态 ,给 无 约束 问题 的 数值 求解 带 来 很 大 的 困难 . 
为 了 克服 这 一 缺点 ,本 节 我 们 要 介绍 求解 约束 优化 问题 的 另 一 种 方法 , 即 乘 子 法 . 


$6.3.1 等 式 约束 问题 的 乘 子 法 
考虑 等 式 约束 问题 (6. 1. 1) , 设 它 的 极 小 点 为 x" . 若 采用 外 罚 函 数 法 , 则 得 
到 外 罚 函 数 的 形式 如 (6. 1. 2) 式 ,于 是 ,问题 转化 为 


minP(x, o). (6.3.1) 


由 于 x" 是 问题 (6. 1.1) 的 全 局 解 ,那么 在 求解 问题 (6. 3. 1) 的 过 程 中 ,可 以 
通过 不 断 增 大 罚 因子 ,使 其 极 小 点 x* 无 限 副 近 x*. 自然 地 ,我 们 会 产生 这 样 一 
种 想法 :能 否 找到 某 个 ” ,使 x" 恰好 是 P(x, o* ) 的 无 约束 极 小 点 呢 ? 

如 果 x" 是 P(x, o* ) 的 极 小 点 , 则 WP(x*' , oa" ) = 0. 由 (6.1.2) 式 得 


Vrxz)+22 cx ) Vi ) 一 0. 
各 


由 于 x* 是 可 行 点 , c(x* ) 一 0, 因 此 ,Vf(x* ) = 0. 而 这 只 有 当 x* 恰好 是 f(x) 
的 无 约束 稳定 点 时 才 行 . 一 般 情 况 下 VA(x" ) 冯 0, 即 不 能 找到 有 限 的 o* ,使 x* 
是 P(x, o* ) 的 无 约束 极 小 点 . 

那么 ,能 不 能 构造 一 个 其 他 形式 的 函数 #(x, c) ,使 x* 恰好 是 无 约束 问题 
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min $(x, o) (6. 3.2) 
的 全 局 解 或 局 部 解 ? 如 果 可 以 做 到 这 一 点 ,那么 算法 的 效率 将 被 大 大 提高 . 
由 无 约束 问题 的 二 阶 充分 条 件 , 若 函数 $8(x, o) 在 x" 处 满足 
V(x ,0o) =0, (6. 3.3) 
V2$(x" ,0o) 为 正定 ， (6. 3.4) 
则 x" 是 无 约束 问题 (6. 3. 2) 的 严格 局 部 解 . 
由 (6.3.3) 式 ,很 容易 联想 到 熟悉 的 Lagrange 函数 
L(x, 4) = f(x) + > hici(x). 
在 正规 性 假定 下 ,存在 2… ,使 (x* , 4" ) 为 L(x, 4) 的 稳定 点 , 即 
WL(x’ ,4 )= V(x’ )+ Pa Ver ) = 0. 

说 明志 (xz, 4%) 满足 (6. 3. 3) 式 .但 在 一 般 情 况 下 ,(6. 3.4) 式 不 满足 . 由 约束 问题 的 
二 阶 充分 条 件 可 知 ,Lagrange 函数 的 Hesse 矩阵 在 x* 处 只 有 在 切 空间 上 正定 , 即 
dT ViL(x', 4’)d>0, vdaeM™, 

其 中 
M= dild' V(x*)=0,i=1,2,.,1). 
并 不 能 保证 在 整个 空间 上 ViL (x , 4“ ) 为 正定 . 
究竟 什么 样 的 函数 刚好 能 同时 满足 (6. 3. 3) 式 和 (6. 3. 4) 式 呢 ? 受 上 述 讨论 
的 启发 ,我 们 考虑 增 广 Lagrange 函数 


$x, 4, 0) = f(x)+ DAici(x)+ FD). 
台 对 
因为 YL ,4") = 0, 故 
W(x ,A ,0) = BLx 和) 二 ocx ) V(x ) =0. 
名 


这 样 ,x' 就 是 $(x*, 4", o) 的 一 个 稳定 点 . 

下 面 证 明 , 当 a 充分 大 时 ,V(x* , 和 , o) 为 正定 . 

引 理 6.3.1 设 和 A 是 一 个 n Xn 对 称 和 矩阵 ,B 是 一 个 m Xn 矩阵 , 若 对 一 切 
z 关 0, 满足 B. 一 0 均 有 zT74z 之 0, 则 存在 > 0, 使 当时 ,矩阵 4 十 oBzB 
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为 正定 . 
证 明 令 
K= |s|zs= 11, 
我 们 只 需 证 明 , 当 oa 宇 oa" 时 ,对 任意 ze K, 有 
z'(A+oB'™B)z > 0. (6.3.5) 


因为 对 任何 z 关 0， 二 一 从 TeK, 故 若 


z (4 十 oBTB)z > 0， 
则 
1 


(4 十 oB7TB)z 之 0， 


即 (6. 3. 5) 式 对 任何 z 天 0 成 立 . 
现 证 明 (6. 3. 5) 式 在 K 上 成 立 . 令 K’ = 1zE€E K|zrAz 过 0}. 若 K'= 名, 则 
对 任何 =E K, 均 有 zTAz >> 0, 故 
z'(A+aB'B)z = TAz +oa(Bz)T (Bz) 
二 zT4z (6.3.6) 
>0. 
故 (6. 3. 5) 式 成 立 . 现 设 K' 天 如, 显然 ,K' 为 有 界 闭 集 . 
由 K' 的 定义 , 当 z& K’, zE€ KK 时 ,对 所 有 o 之 0, (6.3.6) 式 成 立 ,所 以 ,只 
需 证 明 , 存 在 "” >>0, 当 so 之 a" 时 ,对 所 有 zE K ,(6. 3.5) 式 成 立 . 由 于 K' 为 紧 
集 ,而 z"Az 与 (Bz)"(Bz) 均 为 < 的 连续 函数 , 故 在 K' 上 取 极 小 值 , 设 分 别 为 
u” = (z)TAz',z EK’ 
”一 (Bz’)'Bz’,z*€K’. 
若 v" = 0, 则 Bz? =0, 由 假定 ,有 (z*)"hz? >>0, 与 z* € K’ 矛盾 .所 以 , v* > 0. 
令 o" >>0, 有 oo > 一 红 , 即 u" 十 ov" 二 0, 则 当 o 宇 ao* 且 =EK' 时 ,有 


zT(4 十 oBTB)z = zTrh4z 十 co(Bz)T(Bz) 
uw +o 
宇 伪 十 o” 也 
>0. 
以 下 设 了 与 <, 为 二 次 连续 可 微 函数 ,我 们 有 下 面 的 定理 . 
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定理 6.3.2 设 x", 4" 满足 约束 问题 (6. 1. 1) 的 二 阶 充 分 条 件 , 则 存在 
og" > 0, 使 当 o 宇 ao" 时 ,x" 是 无 约束 问题 


£ 4 
min |$(x, 2 ,0) = f(x) 十 DA clx) + (x)} 
量 1 jl 


的 严格 局 部 解 .反之 , 若 代 是 $(x, 4” ,a4) 的 极 小 点 ,并 且 c(*) 一 0, 则 六 是 约 
束 问题 (6. 1. 1) 的 最 优 解 . 


证 明 设 x", 4" 满足 约束 问题 (6.1.1) 的 二 阶 充 分 条 件 . 由 于 
$(x, A ,0) = f(x)+ Yael) 十 号 六 cn)， 
各 1 
W(x ,A 0) = Vr )+ Bx W(x )+ Be ) we) 
= YL(x", 可 ) 十 cB(x" ye 
一 0. (6. 3.7) 
其 中 B(x" ) 为 以 Ve (x" ) 为 列 的 矩阵 , c(x*) 一 (a(x*), cr(x* )，…， 
cr ))", 从 而 
Vi (x ,4° ,0) = Vif(x" )+ Bx Vei(x' ) 十 六 wkr )[Ve(x')] 
一 VEL(Cr ， 人 +oB(x* ji 
由 二 阶 充分 条 件 ,对 每 个 满足 
[B(x*)J':=0 


的 向 量 z 天 0, 有 
xzVBL(r ,4 )z> 0. 


于 是 ,由 引 理 6. 3. 1 可 知 ,存在 a。” >> 0, 使 对 所 有 o 宇 o* 及 z 关 0, 有 
z™ Vi$(x" , 4° , o)z > 0, 
又 由 (6. 3.7) 式 知 
VC ,4 ,0) = YL(x, 4°)=0, 


所 以 x* 是 $x, 4" ,oa) 的 严格 局 部 极 小 点 . 
反之, 若 ** 是 大 x, 4”， oi) 的 无 约束 极 小 点 且 cxw) = 0, 则 当 x 一 | 之 e 
时 ,有 


第 六 章 罚 函数 法 111 


$(x, 4, aa) 过 8 2 os) 
= f(x)+ Det) + De) 
= f(x). 
特别 地 , 当 x 是 约束 问题 (6. 1. 1) 的 可 行 点 时 ,有 
f(x) 2 f(x). 


所 以 ,x 是 约束 问题 (6.1. 1) 的 局 部 最 优 解 . 

通过 以 上 分 析 ,我 们 将 等 式 约束 问题 (6. 1. 1) 的 求解 转化 成 了 一 个 无 约束 极 
小 问题 的 求解 . 但 需要 注意 的 是 ,$(x, 4", o) 中 的 4 实际 上 是 最 优 解 x* 处 的 
Lagrange 乘 子 ,在 未 求 出 * "之 前 ,我 们 往往 无 法 知道 它 确切 的 值 . 于 是 ,我们 考 
虑 以 下 增 广 Lagrange 函数 


$(x, 4, 0) = f(x)+ DXici(x) 二 en， 
称 为 乘 子 罚 函数 . 相应 的 无 约束 问题 为 
ming(x， A, co)， 
其 最 优 解 为 二 (4, o). 根据 定理 6. 3. 2 可 知 ,只 要 o 充分 大 , 则 
lim, a) =x". 


于 是 ,我 们 可 以 通过 取 一 个 适当 大 的 ,然后 调整 参数 4, 使 它 逐渐 趋 近 4' ,就 能 
得 到 约束 问题 的 最 优 解 . 这 就 是 乘 子 法 的 基本 思想 . 

但 如 何 修正 4, 使 之 逼近 4" 呢 ? 下 面 我 们 给 出 乘 子 迭 代 公式 . 

乘 子 迭代 公式 ”给 定 从 ,0o, 后 ,求解 无 约束 问题 


ming(x, H, o), (6. 3. 8) 


其 最 优 解 为 x*. 由 最 优 性 条 件 ,得 
Wx, Me, 0) = VA) + DX A wa) 
各 ft 
4 
= W(x)+ DI +oc(x)] Vei(x:) 


= @, (6. 3.9) 
因为 我 们 希望 一 x*, A 一 4', 而 
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Vx’) + Da VCr ) 一 0， 


所 以 ,我 们 采用 
一 六 十 aaci( 友 ) i= 1,2,.…, 1. 


终止 准则 车 m 是 无 约束 问题 (6. 3. 8) 的 局 部 解 ,并 且 满足 4(x+) 一 0 
(= 1 2，…, 四)， 则 由 (6.3.9) 式 得 
VW) + DW) =0. 


因此 ,x 是 约束 问题 (6. 1. 1) 的 K-T 点 ,4 为 相应 的 乘 子 . 类 似 定理 6. 3. 2 
后 半 部 分 的 证 明 过 程 , 可 知 x 为 无 约束 问题 (6. 1. 1) 的 局 部 解 ,停止 计算 . 于 是 ， 
终止 准则 为 ， 
[2 cz) 和 e 
算法 6.3.1 (1) 给 定 初始 点 x*, 设 初始 乘 子 ,精度 要 求 为 e, 放 大 系数 为 
c, 选 择 序列 lo| ,使 0 一 十 oo, 令 二 1; 
(2) 以 习 - 为 初始 点 ,求解 无 约束 优化 问题 
min P(x, A , oi), 
得 到 最 优 解 局; 
(3) 若 [Zef(x) 于 委 e, 则 停止 先 代 ,得 近似 解 愉 ; 否 则 , 转 步骤 (4); 
(4) 令 必 ”一 关 十 ouci( 到 )，&: 二 十 1, 转 步骤 (2). 
例 6.3.1 用 乘 子 法 求解 下 列 优化 问题 


min {f(x) 一 2zi 十 zx 一 2zizzj; 


s.t cx)=zx1+zs—1= 0. 
解 ” 乘 子 罚 函数 为 
$x, 4, 0) 一 2z1 十 于 一 2zizs 十 M(z +z — 1) 十 号 (zi 二 zf 一 1)?， 
取 a 二 2, X' = 一 1, 利用 解析 法 求解 
min $(x, 1, 2), 
得 到 极 小 点 
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| 


1 1 
2 二 i 和 二 
X=A+oe(x) 1+2X3 EE 


修正 4, 有 


再 解 
ming (x, 去 ， 3) 


得 到 刀 , 如 此 继续 ,一 般 地 ,在 第 次 迭代 时 ,$(x, X*， 2) 的 极 小 点 为 


易 见 , 当 = 十 oo 时 ,化 一 一 名 ， 戏 二 (各, 所) , 即 分 别 为 所 求 问 题 的 最 优 乘 子 
和 最 优 解 
$6.3.2 具有 不 等 式 约束 时 的 生子 法 


现在 我 们 考虑 只 有 不 等 式 约束 的 问题 (6. 1. 3). 利用 等 式 约束 的 结果 ,引入 
松弛 变量 z;, 把 (6. 1. 3) 式 转化 为 等 式 约束 问题 : 


min f(x); 
st c(x)+z: =0,i=1,2,.…,1. 


类 似 地 ,定义 增 广 Lagrange 函数 


(6. 3.10) 


$x, z, 4, 0) = f(x)+ D+) +t) + 
(6.3.11) 
从 而 ,把 问题 (6. 3. 10) 转 化 为 求解 
min $(x, +, 4, 0). 


此 时 我 们 发 现 ,问题 (6. 3. 11) 比 原 问题 (6. 1. 3) 的 维 数 增加 了 许多 ,由 十 1 维 变 
量变 成 了 元 十 24 维 变量 . 这 样 做 显然 增加 了 问题 的 求解 难度 ,使 问题 变 得 更 加 复 
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杂 . 那么 ,我 们 能 否 将 问题 再 简化 为 原来 的 十 / 维 问题 昵 ?采用 以 下 的 方法 就 
可 以 做 到 . 
将 $(x, z, Xo) 关于 z 求 极 小 : 


min $(x, +, 4, o), 
得 到 最 优 解 二 二 z(x, 4, 6), 然后 将 三 代入 函数 (6. 3. 11) 中 ,再 求 无 约束 问题 
min B(x, z(x, 4, o), 4, o), 


得 到 最 优 解 * 二 x(4, o). 显然 ,问题 的 维 数 又 从 十 2! 维 变 回 到 十 ! 维 了 . 具 
体 做 法 如 下 . 
将 (6. 3, 11) 式 变形 : 
$lx, zs ho) = f(x) 十 DNc(r) + (x) + 六 str， zi)， 
各 各 各 


其 中 g(x， Ai， zi) 一 zt 十 呈 直 十 eci( 工 于 


令 
V8(r,z, 4, 0) 一 0， 
即 
BE 0, i 1,2,,1, 
得 
zifAhito(c(x)+2)} = 0,i=1,2,.,1. 


若 cci(x) 十 A1 过 0 且 和 i 十 olci(x) 十 z?) 一 0, 则 于 一 一 符 一 a(x), 否 则 z= 0. 
哪 一 点 是 最 优 解 呢 ? 再 讨论 二 阶 充分 条 件 


Og 
3 = 2l3t + (es) tA), i=1,2,%, (6.3.12) 


因此 , 当 oei(x) 二 <0 时 ,将 对 一 一 从 一 ci(z) 代入 (6. 3.12) 式 中 ,有 
3 =—4(cci(x) +4) 三 0， 


即 z = 和 (x) 是 极 小 点 ; 当 oci(x) 十 hi 宇 0 时 ,将 z; = 二 0 代入 (6. 3.12) 式 
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SE: = 2(eei(z) 十 Ni) 之 0， 
E99 


即 zx; = 0 是 极 小 点 . 因此 ,我 们 得 到 


a | oci(x) + < 0, 
= o 
0， cei(x) +X 0. 
将 上 式 代入 (6. 3. 11) 式 中 ,得 
$(x, x, A, 0) = $(x, z(x, 4, o), 4, o) 
, 
一 f(z) 二 元 D1[max(0, 十 mi(z) 卫 一 好 | 


=1 


于 是 ,无 约束 问题 为 
min {f(x) 二 小 了 [max(0, XToc(x))F 一 |. 


1. 来 子 选 代 公式 
根据 等 式 约束 问题 的 乘 子 迭代 公式 ,我 们 有 


A 一 从 十 oa[c( 难 ) 十 (个 )] i=1,2,.,1. 


由 于 当 oei(x) 十 ht < 0 时 ,ci(z) 十 地 一 一 笃 ; 当 wi(z) 十 N >0 时 ,ci(z) 十 邓 一 
ci(x), 故 


ci(x) 十 对 一 max|c(z)， 一 和 |. 
于 是 
六 村 = +omax(c(x), 一 华 } 
Ok 
= max{0, A +oci(x)}, i=1,2,.,1. 
2. 终止 准则 


根据 等 式 约束 问题 的 终止 准则 ,我 们 有 


(Bey + yn) = {2 Lmax(ex), 站 
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算法 6.3.2 (1) 给 定 初始 点 x**, 设 初始 乘 子 1 ,精度 要 求 为 e, 放 大 系数 为 
c, 选 择 序列 ice ,使 0 一 十 吕 , 令 k= 1; 
(2) 以 好 一 为 初始 点 ,求解 无 约束 优化 问题 


min $(x, A:, o), 


得 到 最 优 解 攻 ; 
(8) 若 { 六 [max(o(e)， 一 华 )]} <。 则 停止 过 代 ,得 近似 解 ; 否 


则 , 转 步 又 (4); 
(4) 令 二 max10, 1 十 aci( 太 ) 上 :一 大 十 1， 转 步骤 (2). 
对 一 般 的 约束 优化 问题 (6. 1. 5) , 乘 子 罚 函数 为 


， 
$x, A, 0) = f(x)+ > hici(x) 十 
名 
， 1 刀 
Dx) + {max(0, Xt oci(x)) —X?}. 
台 全 


乘 子 迭 代 公式 
XY = 十 ci(x), iel,2, ,1l, 
XY = maxl0, M+oci(x)}, i=1+1, +2, ,1+m. 


终止 准则 
人 六 seo+ 所 [ax(eeo 到 < 


在 乘 子 法 中 ,尽管 仍 要 求解 一 系列 无 约束 极 小 化 问题 ,但 由 于 可 取 某 个 有 
限 值 , 而 且 和 收敛 到 有 限 极限 ,因而 没有 罚 函数 法 常常 出 现 的 病态 性 质 . 数值 试 
验 表 明 , 它 比 罚 函数 法 优越 ,是 求解 约束 优化 问题 的 最 好 算法 之 一 . 


司 题 二 
6. 1 考虑 约束 问题 
min {f(z) = Tl: 


st 1—zr<o0. 


试 写 出 外 罚 函 数 P(x, o), 内 罚 函数 P(x, 7) 及 乘 子 昼 函数 $(x, 4, o). 


6.2 


6.3 


6.4 


6.5 


6.6 


6.7 
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用 外 罚 函数 法 求解 以 下 约束 问题 : 
(1) 
min {f(x) = zi + zi}; 
st +z 一 l=0. 
(2) 
min | f(z) 一 总 如 十 型 十 二 如 一 二 一 者 十 二 十 十 二 1 
st z+2rs+zi—4=0. 
用 外 罚 函数 法 求解 以 下 约束 问题 : 
(1) 
min {f(x) = z+ 2721; 
st z+z—10. 
(2) 
min {/(x) = zt + 4z1 — 2z: — zls 
st mn 1l. 
用 内 罚 函 数 法 求解 以 下 约束 问题 : 
(1) 
min 17(z) = 2zi 十 3za| 
st 22+d—1<0. 
(2) 
min f(x) = (z+1)°}; 
st x>0. 
用 乘 子 法 求解 以 下 约束 问题 : 
min 17() 一 汪 攻 十 台 十 寺 台 一 一 二 二 十 二 十 1 
st Zi+2z1+zs—4=0. 
用 外 罚 函 数 法 和 乘 子 法 求解 以 下 约束 问题 : 


min {f(x) = zi — 371|; 
st zx = 1, 
Zi 一 Za 一 0. 
考虑 约束 问题 
min {f(z) = xz’1; 
st Z 一 1 一 0. 


显然 ”= 1 是 它 的 最 优 解 . 
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(1) 对 = 1, 10, 100 和 1000, 画 出 外 罚 函数 P(z, o) = zz 十 oe(z 一 1)* 的 图 形 ,对 于 
每 种 情况 , 求 出 P(z, o) 的 导数 为 0 的 点 . 
(2) 证 明 :对 于 任何 c，P(z, o) 无 界 . 
(3) 增加 约束 条 件 | zx | 入 2, 即 求解 约束 问题 
min |P(z, o) = z+o(z—1):}s 
st lzl 和 2 
的 最 优 解 z(o) ,验证 z(o) 一 "= 1. 
6.8 考虑 约束 问题 
min {f(x) = zi ~— z1 — 4z:|; 
st c(x)= z= 0. 
(1) 验证 其 局 部 解 为 xz” 二 (0, 0)" ,相应 的 乘 子 X= 4. 
(2) 考察 函数 y 二 L(x, 4 ) = f(x) 十 2"c(z) 在 x* 处 沿 方向 d = (1, 0)T ,n= 
(0, 1)” 的 二 阶 方向 导数 的 符号 , 据 此 说 明 x' 不 是 min L(x, 4* ) 的 局 部 解 . 
(3) 考察 函数 y 一 $x, 0o) 一 L(x, 4* ) 十 号 c(z) 在 x* 处 沿 方向 d 一 (1，0)T,m 一 
(0, 1)" 的 二 阶 方向 导数 的 符号 ,验证 当 e 之 2 时 ,有 


Ena 8 
a > 0 mi >0, Yo>2, 


x*" 是 无 约束 问题 min $(x, o) 的 局 部 解 . 
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本 章 主要 介绍 两 类 特殊 规划 :几何 规划 和 多 目标 规划 , 以 下 将 对 这 两 类 特殊 
规划 的 相关 理论 分 别 给 予 简要 的 介绍 . 


7 


几何 规划 的 一 般 形式 为 


he 


min Go (x); 
GP G(x) bs, m=1,.%,p, 
x>0,xE€ER', 


其 中 Go 四 = ae 站 0, 1,…, 记 ), 这 里 Tv 表示 Gu。(x) 的 项 数 ， 


cu > 0, Be 一 二 1 或 一 1 6v 二 十 1 或 一 1, ami 为 实 常 指数 . 显然 ,该 问题 是 一 个 
关于 变量 x 的 具有 非 凸 可 行 域 的 非 线性 优化 问题 . 几何 规划 可 以 分 为 正 项 式 几 
何 规划 和 广义 几何 规划 两 类 . 若 Gu(x) 中 56% = 十 1, x > 0, 则 称 Gu(x) 为 关于 
变量 x 的 正 项 式 函数 , 若 对 于 所 有 的 m 二 0, 1,…, p,t 二 1,…, T。, 有 6m 一 
十 1 且 6。 = 十 1, 则 称 问题 GP 是 一 个 正 项 式 几何 规划 (PGP) , 若 gw， 6, 中 存在 
取 值 为 一 1 的 情况 , 则 称 之 为 广义 几何 规划 (GGP). 

正 项 式 几 何 规划 的 一 般 形式 如 下 : 


min go (x); 
PGP | gn(x) C1,m=1,..,p, 
x>>0,xER', 


其 中 ga(x) = Se Hs ~ (m 二 0，…， 轧 ) ,这 里 常 系数 cv > 0, am 为 任意 的 


实数 ， 显然 对 于 mm 却 0， 1，…， 刀 ,函数 g- (x) 均 为 正 项 式 函数 . 
一 般 来 说 ,一 个 正 项 式 函数 并 不 是 凸 函数 ,例如 f(z) = zx 是 正 项 式 函数 ， 
但 在 zx > 0 的 区 域 上 不 是 凸 的 . 众所周知 , 当 极 小 化 一 个 非 凸 函数 时 ,我 们 总 是 
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很 难 找到 它 的 全 局 极 小 点 ,而 找到 的 仅仅 是 一 个 局 部 极 小 点 . 但 是 对 于 正 项 式 几 
何 规划 , 它 的 局 部 极 小 点 也 是 它 的 全 局 极 小 点 ,因为 每 一 个 正 项 式 几何 规划 问题 
都 等 价 于 一 个 凸 规划 ,也 就 是 等 价 于 在 凸 区 域 上 极 小 化 一 个 凸 函数 ,这 是 正 项 式 
几何 规划 的 一 个 重要 特征 . 这 种 等 价 性 由 下 述 方法 确定 . 对 原 PGP 进行 指数 变 
量 替 换 , 即 令 

T= jel, ,Hn, 


则 原 PGP 等 价 于 如 下 问题 : 


, /min fo(z); 
P' 
Ee 人 fn(z)<1, m=1,.,p; 


其 中 (2) = 如 crexp| 避 e) ,mm 二 0，…， ,因为 一 个 以 e 为 底 \ 以 线性 


函数 为 指数 的 指数 函数 为 凸 函 数 , 且 c, 为 正 系数 ,所 以 PGP' 中 的 目标 函数 和 约 
束 函 数 均 为 凸 函数 , 即 PGP 为 凸 规划 . 由 于 任何 一 个 正 项 式 几何 规划 都 等 价 于 
一 个 凸 规划 问题 ,因此 凸 规划 的 理论 可 以 应 用 于 正 项 式 几 何 规划 的 情况 . 

算术 几何 平均 不 等 式 在 几何 规划 的 最 初 发 展 中 起 到 了 非常 重要 的 作用 , 许 
多 算法 都 是 基于 该 不 等 式 构造 出 来 的 . 首先 给 出 如 下 引 理 . 

引 理 7.1.1 设 f(z) 在 [a, 5] 上 有 连续 的 二 阶 导数 且 fj"(z) 之 0, x.(i = 
1, 2,…,n) 是 [a, 5] 上 的 任意 个 点 , 则 


"| Dz) 
> 和 


n 


Da 
而 等 号 成 立 当 且 仅 当 所 有 的 zx; = = (i=1,.,n). 
引 理 7.1.2 在 引 理 7.1.1 的 假定 下 ,再 设 p; > 0 (i 二 1, …, n), 则 有 


Dpiz 
各 


pe) 
一 |> 气 一 一 . 
2 DP 


有 了 上 面 的 引 理 ,很 容易 证 明 如 下 定理 , 即 带 权 的 几何 平均 值 不 超过 算术 平 
均值 . 
定理 7.1.3 设 z; 二 0, p;>0 (i=1,…, 7), 则 有 


f 


(Tz < 六 -ez ， (7.1.1) 


等 号 成 立 当 且 仅 当 所 有 的 zx; 相等 . 
证 明 取 Jz) = 一 Inz, 则 户 (z) = =- 去 二 0. 加 上 定理 条 件 , 故 满足 引 理 7. 1.1 


和 引 理 7.1. 2 的 条 件 ,利用 引 理 7. 1 


ee > Dp 
ln(z?) 
2 
= In(TTz’*)™ 
将 上 式 两 边 的 对 数 符号 去 掉 , 有 
“Ee 
ZE» n 
(Tz)™ 和 >- 
dl iml Dp 


同 引 理 7. 1. 1 一 样 ,等 号 只 当 所 有 z; 相等 时 成 立 . 
接 下 来 我 们 讨论 无 约束 正 项 式 几何 规划 ,问题 简写 为 如 下 形式 : 


iny(z) = Defilx); 
OE Ee 2 x) 
s.t. x>0, 


其 中 
f(x)= Tz", 6>0,7=1,2,.; r= (zc, *, x,)T. 


下 面 我 们 将 借用 前 面 所 证 明 过 的 不 等 式 把 原 极 小 化 问题 转化 为 极 大 化 问 
题 , 常 称 后 者 是 原 问题 的 对 偶 问 题 ,这 两 个 问题 的 关系 用 下 面 的 定理 描述 . 
定理 7.1.4 若 存 在 一 组 非 负 数 请， 加 ，…，zp。 ,满足 如 下 两 个 条 件 


Dp =1, (7.1.2) 
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Pap 0 i (7.1.3) 
后 


则 当 UGP 的 最 小 值 存在 时 ,其 最 小 值 必 等 于 函数 


am = I(2) 


j=! 


P=(p, pr, Ppa)" 


在 约束 条 件 (7. 1. 2) 和 (7. 1. 3) 之 下 的 最 大 值 . 
证 明 分 两 步 进行 证 明 . 首先 ,证 明 y(x) 宇 d(p)( 其 中 x 之 0). 
根据 不 等 式 (7. 1. 1) 可 得 


- 


i 


i 


i 


Ee (EE)Y)HI» 


=a(p)IT Tz 
-站 站 < 


= dp TT ze 


= d(p), 


y(x) > d(p). 
其 次 ,证 明 >(z* ) = d(p" ), 其 中 x* = (xz), …, xz )T 是 UGP 的 最 小 点 ， 
Pp” 二 (pr ，…, p»)" 是 dlp) 的 最 大 点 . 
因为 假设 UGP 的 最 优 解 存在 , 则 x* 之 0， 再 根据 多 元 函数 取得 极 值 的 必要 
条 件 ,有 
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= a2(Cz) 
zk 


a (De Hz#) 


| 


人 Doa,s 人 
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和 Dos Hs “(zr 天 0)， 


j=l 


= 二 Daasfile 让 


Th j=1 


Doavfi(x*)=0,k=1,2, .nn 


i=! 


若 取 
1 Ch gt 
pb yr) i 1,2, ,Mm 


则 显然 有 _ 
人 = 


i=1 


Dasp’ =0,i=1,2,.,n 


这 就 说 明 , 我 们 取 定 的 p* 满足 约束 条 件 (7. 1.2) 和 (7. 1.3). 下 面 只 须 验证 
y(x°) = d(p' ). 
事实 上 ,有 
yz) = Te) 
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.1.4) 
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即 
y(x") = d(p'), 
因此 d(p* ) 是 d(p) 的 极 大 值 。 口 
此 定理 不 仅 告 诉 我 们 ,UGP 的 最 小 值 等 于 它 的 对 偶 函 数 的 最 大 值 ,而 且 可 
从 求 得 的 p' 与 d(p" ) 出 发 ,借助 于 (7. 1. 4) 式 解 出 x*” . (7. 1.4) 式 从 表面 上 看 是 
非 线 性 方程 组 ,但 对 方程 两 边 取 对 数 以 后 ,就 变 成 了 如 下 以 ln zx” 为 未 知 数 的 线 
性 代数 方程 组 


avlnzr =—lnc +lnp; 十 Iny(z ), j= 1,.,m. 
各 


因此 原 问 题 的 最 小 点 x" 不 难 求 得 . 

为 了 加 深 对 上 述 定理 的 理解 ,进一步 认识 几何 规划 的 优越 性 和 求解 步 台 ,下 
面 给 出 例子 7. 1. 1. 这 个 例子 是 有 实际 意义 的 , 它 描述 一 个 工厂 当 产值 一 定时 ， 
如 何 选择 影响 产值 的 各 因素 ,使 其 成 本 最 低 . 

例 7.1.1 求 无 约束 几何 规划 的 最 优 解 ; 

min{y = 60z7’z7’ 十 50zszs + 20z7 zi} ; 
人 t. x> 0. 
解 ” 把 原 问题 目标 函数 写成 标准 形式 : 


3 2 
y(x) = D6 ITzr, 
A 
其 中 c = 60, cz =50, cs 一 20, an = 一 3, an = 一 2, as 二 3, a 二 1, a 二 


一 3, az = 3. 根据 定理 7. 1. 4, 其 对 偶 问 题 为 


max d(p) = 六 (2); 


a 
| 而 一 1 


Dasp, =0,i=1,2. 
将 a 的 值 代入 约束 条 件 , 得 到 如 下 方程 组 : 


P+p:+p, = 1, 
—3p1+3p: —3p: 一 0， 
2p1+p:+t+3ps = 0. 
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解 此 方程 组 得 
加 =0.4,p; =0.5, ps 一 0.1. 


再 由 定理 7. 1. 4, 得 
yx ) = d(p’ ) = 125.8. 


最 后 由 (7. 1.4) 式 ,得 


可 得 x” = (1.12, 0. 944)7. 因此 原 问 题 的 最 优 解 为 x” 一 (1. 12, 0.944)", 相 
应 的 最 小 值 为 y(x* ) = 125. 8. 

由 此 例 可 以 看 到 当 m 二 n 十 1 时 , 解 存在 且 唯 一 . 可 以 看 到 ,如 果实 际 问题 对 
应 的 数学 模型 是 这 种 类 型 的 几何 规划 问题 , 则 求解 非常 简单 . 因此 ,我 们 在 建立 
数学 模型 时 ,应 尽量 抓 住 受 影响 的 主要 因素 , 舍 去 次 要 因素 ,使 其 得 到 的 数学 模 
型 尽量 满足 m = nn 十 1. 

以 上 讨论 了 无 约束 正 项 式 几 何 规划 ,从 理论 到 具体 解法 都 比较 满意 ,对 于 有 
约束 的 正 项 式 几何 规划 可 以 类 似 得 到 对 偶 规 划 ,这 里 就 不 再 详细 介绍 . 


§7.2 多 目标 规划 


在 实际 优化 问题 中 ,往往 要 求 同 时 考虑 多 个 指标 的 优化 . 这 在 数学 模型 中 体 
现 为 一 个 多 目标 规划 问题 . 关于 多 目标 规划 问题 的 理论 与 求解 方法 在 很 多 书籍 
中 都 有 详细 的 阐述 . 我 们 以 下 面 的 例子 来 说 明 问 题 存在 的 普遍 性 . 

例 7.2.1 某 工厂 生产 甲乙 两 种 产品 ,每 月 甲 产 品 至 少 生产 2 万 件 ,但 月 
产量 不 能 超过 5 万 件 . 甲 产品 的 利润 是 每 件 2 元 ;生产 一 件 甲 产 品 和 生产 一 件 乙 
产品 的 工时 相等 . 每 件 乙 产品 的 利润 是 5 元 ,每 月 两 种 产品 产量 总 和 不 低 于 6 万 
件 , 也 不 高 于 8 万 件 ,产量 超过 6 万 件 的 部 分 称 为 超 产量 . 工厂 希望 

(1) 甲 产品 的 产量 要 尽 可 能 多 ; 

(2) 为 了 每 个 人 不 加 班 , 超 量 要 少 ; 

(3) 利润 要 多 . 

试 建立 该 问题 的 数学 模型 . 

解 ” 设 甲 产 品 的 月 产量 为 z 万 件 , 乙 产品 的 月 产量 为 zs 万 件 . 此 问题 的 3 
个 目标 可 以 写成 max zx, min(z 十 z; 一 6), max(2zi 十 4z:), 则 此 问题 的 数学 
模型 是 
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min (fi(z1, xz2), f(T1, x2), f(x1, IT2)); 
st x 二 wi 2 6 
十 加: 息 蜂 
zl 过 2， 
25 
za 过 0， 
其 中 
万 (zy za) =— x1, 
fi(z1, x1) = z+z—6, 


fi(z1, T1) =— 2x1 — hx;. 


与 单 目标 规划 问题 一 样 ,对 于 多 目标 规划 问题 同样 要 考虑 :什么 是 多 目标 规 
划 问 题 的 解 ? 解 应 该 满足 什么 样 的 必要 条 件 ? 在 目标 函数 与 约束 函数 满足 什么 
条 件 时 ,必要 条 件 也 是 充分 的 ? 怎么 样 求解 多 目标 规划 问题 ? 这 里 ,我 们 将 简要 
介绍 这 些 问题 . 

在 一 个 具体 的 优化 问题 中 ,有 的 指标 可 能 要 求 最 小 化 ,有 的 则 要 求 最 大 化 ; 
有 的 约束 可 能 是 “ 委 ", 有 的 则 可 能 是 “之 ". 但 是 ,我 们 总 可 以 通过 乘 以 一 1, 使 它 
们 化 成 下 面 多 目标 规划 的 标准 形式 : 

MOP min(fi(x), *, f,(x)); 
St. g(x)<O0,i=1,2,.,m, 


其 中 x E R", 称 为 决策 向 量 ,所 在 的 空间 称 为 决策 空间 ;1(x)，…，f,(x) 称 为 
目标 函数 ,所 在 的 空间 称 为 目标 空间 , g,(z) <0 (i = 1, 2,…, m) 称 为 约束 函 
数 . 多 目标 规划 问题 亦 称 为 向 量 最 优化 问题 . 

多 目标 规划 问题 实际 上 是 将 决策 空间 的 一 个 区 域 映射 到 目标 空间 的 一 个 区 
域 . 所 以 问题 涉及 下 面 两 个 集合 概念 : 

X= {rE€R' |g(x)<o0,i=1,2,.%,m), 
称 为 MOP 的 可 行 域 (feasiable set); 
Fo{f, fo, fo) ER Nf = f(x), i=1,2,.,p,xE€X), 

称 为 值 域 (image set). 

若 每 个 目标 函数 都 是 凸 函数 ,而 可 行 域 是 凸 集 , 则 MOP 称 为 凸 多 目标 规划 
问题 . 凸 多 目标 规划 问题 有 很 好 的 性 质 ,具有 完全 类 似 于 单 目标 凸 规划 的 结果 

如 果 能 找到 一 组 决策 变量 的 取 值 ,使 得 每 个 目标 均 达到 最 小 值 , 这 组 值 称 为 
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MOP 的 绝对 最 优 解 . 但 是 一 般 情 况 下 ,这 种 解 是 不 存在 的 . 往往 存在 相互 冲突 
的 目标 ,一 个 目标 “ 变 好 "时 ,至 少 有 另外 一 个 目标 要 “ 变 坏 ”. 所以, 人们 要 考虑 如 
何 定义 多 目标 规划 问题 的 解 . 

定义 7.2.1 设 x € X. 若 不 存在 另 一 个 可 行 点 xEX, 使 得 fi(x) 过 
(rz) (i 二 1, 2, …, p), 且 其 中 至 少 有 一 个 严格 不 等 式 成 立 , 则 称 x 为 
(MOP) 的 一 个 有 效 解 (efficient solution)( 或 非 劣 解 ,或 Pareto 最 优 解 ). 

定义 7.2.2 设 x EX. 若 不 存在 另 一 个 可 行 点 xEX, 使 得 fi(x) < fi(x) 
(i 二 1,2,…, 户 ), 则 称 x 为 MOP 的 一 个 弱 有 效 解 ( weak efficient solution). 

若 x 是 ( 弱 ) 有 效 解 , 则 (fi(x )， f(x ),…， f(x )) 称 为 目标 空间 的 ( 弱 ) 
有 效 点 . 

从 上 面 的 概念 可 以 看 出 ,如 果 我 们 考虑 具有 一 般 向 量 偏 序 “<<" 的 代数 系统 
R? , 则 求解 MOP 就 是 求 R* 中 值 域 的 ( 弱 ) 有 效 点 . 例如 ,Markowitz 投资 组 合 
模型 是 一 个 双 目 标 规划 问题 ,Parato 有 效 前 沿 即 是 这 里 的 有 效 点 集 的 概念 . 

为 了 叙述 方便 ,我 们 有 必要 在 这 里 给 出 R? 中 的 偏 序 记号 : 设 x = (zx)， 
Te Tp) = (yy ys) E 及 2. 

(1) x 二 y 意 思 是 z= yi,i=1,2,…, pp; 

(2) x 二 yy 意思 是 zx; < 之 yi,i=1,2,…, pp; 

(3) x 人 y 意 思 是 zx; 过 ,i 二 1,2,…, ,但 是 ,至 少 有 一 个 严格 不 等 式 成 立 ; 

(4)x 三 y 意 思 是 xz; < yi, i = 1,2,…,p. 

对 于 大 于 等 于 号 ,可 以 类 似 地 定义 . 

对 于 MOP 的 有 效 解 和 弱 有 效 解 ,显然 有 下 面 的 结论 . 

定理 7.2.1 ”有效 解 一 定 是 弱 有 效 解 . 

下 面 举 一 个 为 离散 形 的 、 另 一 个 为 连续 形 的 双 目 标 规划 问题 的 例子 , 偏 序 是 
用 通常 的 向 量 的 偏 序 . 

例 7.2.2 设 双 目标 规划 问题 为 


min(fi(z1, xs), f(x1, x2)); 


st XEX= {zr, xz, zz 
让 (x) ,fs(x) 的 函数 值 由 表 7. 2. 1 给 出 , 求 这 个 问题 的 有 效 解 和 弱 有 效 解 . 
表 7.2.1 函数 值 
函 数 Ea Ca 
fi(x) 1 1 2 3 


fi(x) 3 2 1 2 
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解 ”问题 的 有 效 解 是 :z 和 zx ; 弱 有 效 解 是 :zx!，z?， zz*、 

例 7.2.3 在 金融 理论 中 Markowitz 组 合 投资 选择 数学 模型 即 为 双 目 标 规 
划 问 题 . 设 有 p 种 投资 产品 ,其 资金 分 配 向 量 为 x = (zi, zs,…, zs). R(x) 为 
期 望 回报 ,V(zY) 为 协 方差 风险 测度 , 则 该 问题 的 标准 双 目 标 规划 模型 为 


min(— R(x), V(x)); 


st Pri=l,x>0,i=1,2,.,p, 


那么 该 问题 的 有 效 解 对 应 的 有 效 点 组 成 的 点 集 即 为 著名 的 Pareto 有 效 前 沿 . 

在 多 目标 规划 问题 的 有 效 解 中 取 一 点 x', 如 果 一 个 目标 在 另 一 点 “ 变 好 ” 
了 , 则 一 定 至 少 有 另 一 个 目标 在 这 点 “ 变 坏 ”的 程度 更 大 ,我 们 把 x' 称 为 如 下 定 
义 的 有 效 解 . 

定义 7.2.3(Geoffrion) 设 x 是 MOP 的 有 效 解 . 若 存 在 正 数 M, 使 得 对 满 
足 f(x) < fi(x) 的 每 一 个 i 与 一 个 x E X, 至 少 存在 一 个 j 天 使 得 


[ACEIAED 
i > f(x) 宇 M 
TOP DN nh 


成 立 , 则 称 * 为 MOP 的 真有 效 解 (proper efficient solution). 
为 什么 要 考虑 这 样 的 有 效 解 ? 这 是 因为 在 有 效 解 中 有 这 样 的 一 种 解 , 它 改 
进 了 一 个 目标 值 ,尽管 至 少 有 一 个 目标“ 变 坏 ”, 但 是 “ 变 坏 " 的 程度 不 大 ,那么 我 
们 当然 要 做 这 个 “改进 "了 . 所 以 ,这 种 不 需 进一步 “改进 "的 有 效 解 “更 好 ”, 意味 
着 这 时 没有 “必要 "对 解 再 进行 改进 . 
例 7.2.4 确定 下 面 双 目 标 规 划 问 题 的 有 效 解 集 和 真有 效 解 集 : 
min(fi(z), f(z)); 
&t ZE;~Ie—1, 


其 中 fi(z) = ,fi(z) = (2—z)’. 

解 ” 易 知 问题 的 可 行 集 是 [1, 5], 且 当 zx € [1, 2] 时 ,不 存在 另 一 可 行 点 
,使 得 f(z) < f(z'), 且 至 少 有 一 个 严格 不 等 式 成 立 . 从 而 知道 该 双 目标 规 
划 问 题 的 有 效 解 集 是 [1, 2]. 对 于 zx = 2 和 任意 xE [1, 2), 易 见 


fi(z)—fi(z)=4—z:>0, 
fi(z)— f(r’) = (2—z): >0, 


f(z)—fi(z) = (2 一 z)(2 十 z) _ 2+z 
filz)—fir) (2 一 zz 2 一 > 
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AC EO I 1 4。 
A ( i) 


所 以 ,不 存在 M, > 0, 使 得 


f(z) — f(z) 
PAE EA 


即 z 二 2 不 是 问题 的 真有 效 解 . 对 x E[1, 2), 若 f(z) 一 有 (zx)= x 一 xz: >0， 
则 xzE[1l, zx). 从 而 
fi(z)— f(r)= (2—zx)*—(2—z): = (4—zr—z)(z’—zr)>0, 


f(x)— f(z)_ z+z 4 I 
f(z)—filz) 4—z—z dr-z Na 
取 
M = max| 2 
= max17 一 7 205 
有 


f(z) — fi(z) 
fz) Ft) < Me 


另 一 方面 , 若 f(x) 一 f(x) 过 0, x € [1, 2), 则 zz 且 z 二 4 一 x. 于 是 


fi(z)—fi(z)=r*—z < 0, 
filz)— f(z) 4—zr—z 
fi(z)—fi(z") z "+z 


4 .0 
z+z LS . 


取 M, 一 max{ 包 一 1， 中 > 0. 所 以 ,存在 Ms > 0, 使 得 
户 (z) 一 户 (z) 
frr) FI < Ms 


成 立 . 即 [1, 2) 是 问题 的 真有 效 解 集 . 
类 似 于 单 目标 规划 问题 ,利用 Lagrange 函数 可 以 给 出 多 目标 规划 问题 的 有 
效 性 条 件 . 这 里 我 们 不 给 出 证 明 ,有 兴趣 的 读者 可 参看 多 目标 规划 教材 . 
对 于 MOP ,我 们 首先 给 出 它 的 Lagrange 函数 : 
Lx, @, 4, 1) = a f(x)+AT g(x), 


其 中 ,a€E R*,A4E€R'. 
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定理 7.2.2(Firtz John 必要 条 件 ) ” 若 x 是 MOP 的 一 个 有 效 解 或 弱 有 效 

解 ,目标 函数 和 约束 函数 在 x 处 是 可 微 的 , 则 存在 向 量 a €E 了 下, 和 E R4 ,使 得 
(a, 4) 关 0, 并 且 

VLOr a,4)= V(r )at+Ve(r) = 0, (7.2.1) 

ATg(x’) =0, (7.2.2) 


其 中 Y1，Ve 分 别 表示 向 量 值 函数 了 ,8g 在 相应 点 处 的 梯度 矩阵 ( 即 Jacobi 矩阵 
的 转 置 ). 

为 了 保证 目标 函数 前 面 的 系数 天 0, 人们 讨论 了 各 式 各 样 的 约束 规格 ,从 
而 有 进一步 的 结论 

定理 7.2.3(Karush-Kuhn-Tucker 必要 条 件 ) 若 x 是 MOP 的 一 个 有 效 解 
或 弱 有 效 解 ,目标 函数 和 约束 函数 在 x 处 是 可 微 的 ,并 且 在 x' 处 Kuhn-Tucker 
约束 规格 成 立 , 则 存在 非 零 向 量 a € R?, 4 E R? , 满足 (7. 2. 1) 式 和 (7. 2. 2) 式 . 

如 果 在 问题 中 所 涉及 的 目标 函数 和 约束 函数 有 比较 好 的 性 质 , 则 条 件 
(7. 2.1) 和 (7. 2. 2) 将 会 是 充分 条 件 ,如 下 面 结论 . 

定理 7. 2. 4(Karush-Kuhn-Tucker 充分 条 件 ) 假设 向 量 函数 /，g 是 凸 
的 ,在 可 行 点 xx 处 是 可 微 的 . 若 存在 非 零 向 量 ge R?, 4 E R”, 满足 (7. 2.1) 式 
和 (7. 2. 2) 式 , 则 x 是 (MOP) 的 弱 有 效 解 ,特别 地 , 当 a > 0 时 ,xz' 是 MOP 的 有 
效 解 . 

(7.2.1) 式 和 (7.2.2) 式 称 为 K-T 条 件 . 在 以 上 定理 中 ,我 们 要 求 f，g 是 凸 
函数 ,才能 保证 满足 K-T 条 件 的 可 行 解 是 弱 有 效 解 或 有 效 解 . 关于 这 个 条 件 近 
几 年 来 有 很 多 的 推广 ,特别 是 在 1981 年 Hanson 提出 不 变 凸 概念 以 后 ,有 大 量 
的 文章 讨论 在 广义 凸 意义 下 ,K-T 条 件 的 充分 性 

求解 多 目标 规划 问题 就 是 找到 一 个 有 效 解 . 一 般 情况 下 , 有 效 解 不 是 唯一 
的 . 因为 不 能 在 向 量 的 偏 序 意义 下 ,说 一 个 比 另 一 个 “好 ". 所 以 ,有 时 候 要 按照 决 
策 者 的 意愿 确定 一 个 满意 的 解 (通常 称 为 协商 解 ). 在 本 节 中 ,我 们 介绍 常用 的 几 
种 求解 多 目标 规划 问题 的 间接 方法 . 

1. 标量 化 方法 

这 种 方法 的 思想 是 用 一 些 非 负 常数 将 MOP 转化 成 一 个 单 目标 规划 问题 ， 
通过 求解 该 单 目标 规划 问题 的 解 得 到 MOP 的 一 个 有 效 解 . 根据 各 个 目标 的 重 


要 程度 分 别 乘 上 一 个 权 系数 w; > 0， Bu 二 1, 重要 的 目标 乘 的 权 系数 要 大 ， 


可 以 通过 分 析 的 方法 说 明 这 个 道理 . 然后 将 它们 求 和 ,得 到 一 个 函数 ,以 此 作为 
目标 函数 . 构造 一 个 单 目标 规划 问题 如 下 : 
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P。 min{w'/f(x)= Des))}s 
[2 
定理 7.2.5 关于 如 上 构造 的 标量 化 问题 与 原 MOP 的 解 有 下 面 的 关系 : 
(1) 若 ww >>0 (i 二 1,2,…, p),x" 是 P 的 最 优 解 , 则 x" 是 MOP 的 有 效 解 ; 
(2) 若 w 宇 0 (i 二 1,2,…, Pp),x" 是 P, 的 唯一 的 最 优 解 , 则 x* 是 MOP 


的 有 效 解 ; 
(3) 若 w 之 0 (i==1,2,…, 记 ),x" 是 P. 的 最 优 解 , 则 x" 是 MOP 的 弱 有 


效 解 . 

证 明 (1) 用 反 证 法 . 假设 x" 不 是 MOP 的 有 效 解 , 则 由 有 效 解 的 定义 可 
知 ,存在 x € S = {x | g(x) < 01, 使 得 

fi(x) f(r), i=1,2,..,p, 
并 且 至 少 有 一 个 严格 不 等 式 成 立 . 由 条 件 w 之 0 (i = 1, 2, …, p), 有 
wifi(x) 入 wifi(z  ) i=1,2,.,p, 

并 且 至 少 有 一 个 严格 不 等 式 成 立 . 

将 上 式 相 加 , 即 得 

wf) = Pfil) << 袜 mitz) = wf). 


这 就 是 说 ,存在 xE S = |x| g(x) 过 0}, 使 得 wTf(x) < wrJ(x' ), 但 是 ,这 与 
x" 是 P, 的 最 优 解 了 矛盾 . 所 以 ,x* 是 MOP 的 有 效 解 . 
(2) 用 反 证 法 . 假设 x* 不 是 MOP 的 有 效 解 , 则 由 有 效 解 的 定义 ,存在 
xzES= {x|g(x) < 0|, 使 得 
fi(x) fix ), i=1,2,.,p, 
并 且 至 少 有 一 个 严格 不 等 式 成 立 . 这 时 ,x 关 x*. 由 条 件 w 宇 0 (i = 1, 2, …， 
力 ), 有 
wfi(x) Swfi(x'), i=1,2,.,p. 
但 是 ,如 果 将 这 些 式 子 加 起 来 ,这 时 或 者 有 
p 下 
Wx) = Dwfi(x) < > usr ) 一 wrflz)， (7.2.3) 
或 者 有 


， ， 
wf(x) = Dwfix) = > ulxz) 一 wrfr) (7.2.4) 
se 4 
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可 


(7. 2. 3) 式 与 x* 是 标量 化 问题 的 最 优 解 矛盾 ;(7. 2. 4) 式 与 x* 是 标量 化 问题 的 
唯一 最 优 解 矛盾 .所 以 ,x* 是 原 多 目标 规划 的 有 效 解 . 

(3) 的 证 明 同样 可 以 应 用 反 证 法 与 (1) 类 似 地 证 明 , 这 里 不 再 装 述 . 

以 上 定理 告诉 我 们 ,通过 变换 权 系数 可 以 得 到 一 些 原 多 目标 规划 的 有 效 解 
和 弱 有 效 解 ,并 且 可 以 证 明 : 当 问题 是 凸 多 目标 规划 时 ,MOP 的 所 有 有 效 解 和 
弱 有 效 解 都 可 以 通过 标量 化 方法 得 到 . 但 是 当 问 题 不 是 凸 多 目标 规划 时 ,有 些 有 
效 解 就 不 可 能 通过 标量 化 的 方法 得 到 . 

在 定理 7. 2. 5(2) 中 ,如 果 标 量化 问题 的 最 优 解 不 唯一 , 则 其 最 优 解 不 一 定 
是 原 多 目标 规划 问题 的 有 效 解 ,因为 在 用 权 系数 乘 相 应 的 目标 函数 时 , 乘 子 0 所 
乘 的 目标 函数 在 两 可 行 解 处 的 函数 值 不 等 ,这 样 ,其 标量 化 问题 在 这 两 个 可 行 解 
处 取得 同样 的 最 优 值 . 那么 ,如 何 判断 这 时 的 最 优 解 是 原 多 目标 规划 问题 的 有 效 
解 呢 ? 我 们 给 出 下 面 的 判别 定理 . 

定理 7.2.6 若 对 于 w 过 0 (i 二 1, 2, …, p),x" 是 P, 的 最 优 解 , 且 

(1) 当 5 = 0 时 ,x" 是 MOP 的 有 效 解 ; 

(2) 当 6 > 0 时 ,zx* 不 是 MOP 的 有 效 解 ; 
其 中 5 是 下 述 辅助 规划 问题 的 最 优 函 数值 : 


5 = max{6 = Pa}s 


st f(x)to= f(x), i=1,2,.,p, 
g(x) < 0， 
60,i=1,2,.,p. 


证 明 (1) 如 果 辅 助 问题 的 目标 值 $ = 0, 这 时 ,对 于 任何 的 xE S= {x| 
8(x) 入 01, 8 一 0, 即 不 存在 可 行 解 x, 使 得 f(x) 之 f(x ), 那么 x* 为 MOP 的 
有 效 解 . 

(2) 其 证 明 也 显然 . 

例 7.2.5 用 加 权 法 求解 下 述 问题 的 有 效 解 : 


max(fi(z1, zx), f(x1, x2)); 
Ss.t. 一 了 十 了 £4, 
Zi 十 z < 妇 9， 

6 

z 入 5， 

一 zi 委 0， 

—Zz:<0, 
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其 中 f(z, zz) = 2z 一 za， 户 (zi，zz) 一 一 并 十 3zz. 
解 ” 记 可 行 集 为 


X= |i(z, zx) ER |—z+z <4, z+r 9, 0<n, rz <5}, 


且 标 函数 的 加 权 和 为 w fi 十 wf。. 相应 的 标量 化 问题 为 


maxlw fi(z1, zx) + wfi (zx, Te)); 


st. xEX, 


其 中 w ,ws > 0 为 加 权 因 子 . 此 加 权 问 题 的 最 优 解 (z; ，z: ) 应 满足 K-T 条 件 : 
对 应 于 可 行 集 的 6 个 约束 条 件 存在 6 个 Lagrange 乘 子 y.(i 二 1, …, 6), 使 


Ef x) + fel za)] 一 


SE 
2 Fa 2) = 0, i= 1,2, 


HBi(T1, zz) =0,j=1,.,6 
成 立 , 即 
Zw — ws tp — pe — pn +ps = 0, 
3w pp 十 pe = 0， 
(ztz —4)n = 0, 
(z 十 zz 一 9)pa = 0, 
(zi 一 5)ms = 0, 
(zz — 5)u 一 0， 
—zijs = 0, 
—Zzzps 一 0， 
,p>0 
成 立 . 


因为 标量 化 问题 是 一 个 线性 规划 ,最 优 解 在 可 行 集 的 边界 上 . 又 因为 有 两 
个 自 变量 ,最 优 解 有 一 个 或 两 个 有 效 约束 . 先 考 虑 只 有 zx, 过 5 起 作用 . 此 时 ， 
等 式 zx, 二 5 成 立 ,其 他 5 个 约束 严格 不 等 式 成 立 ,因此 pn = js = js = js = ju 
三 0. 解 上 式 得 mw = 1/3, ws = 2/3, pu = 5/3, 用 此 组 w ,ws 的 值 代 入 标 
量化 问题 并 求解 这 个 线性 规划 ,得 无 穷 多 个 解 . 这 些 解 和 相应 的 目标 空间 的 
有 效 点 分 别 分 布 在 如 图 7. 2. 1 所 示 的 CD 线段 上 ,这 些 解 都 是 原 问 题 的 有 
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效 解 . 


Fk Tl 
图 7.2.1 决策 空间 可 行 集 与 目标 空间 可 行 集 


研究 另外 两 个 有 效 约束 的 情况 ,得 到 表 7. 2. 2. 
表 7.2.2 有 效 约束 及 其 解 


有 效 约束 Lagrange 乘 子 解 标量 化 问题 得 有 效 解 
四 = (1/3, 2/3 
zr<5 A ) cp 线段 
pm = 5/3 
日 = (4/7, 3/7 
mata nj 人) 一人 ) DE 线 耻 
p=5/7 
» 到 ,4 
EN bg A A 居 度 
m= 5/4 


— 


分 析 其 他 情况 没有 得 到 新 的 有 效 解 . 因此 ,在 目标 空间 中 折线 CDEF 是 有 效 
2. 约束 法 
设 多 目标 规划 为 
MOP max(fi(x), f(x), , f,(x)); 
Sst. g(x)S0,j=1,2,.…,m. 
约束 法 (constraint method) 也 是 一 种 用 单 目标 规划 求解 多 目标 规划 有 效 解 的 方 
法 . 选 一 个 目标 作为 目标 ,其 余 目标 变 为 约束 ,构造 下 述 单 目标 规划 问题 ; 
Pile) max fi(x); 
St fi(x)>e,izk,i=1,2,..,p, 
gi(x) <0,j=1,2,.,m, 
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其 中 @(i = 1, 2, …, p) 是 一 组 给 定 的 数 . 

定理 7.2.7 x" 是 MOP 的 有 效 解 的 充分 必要 条 件 是 :x* 同时 是 p 个 约束 
问题 Pi《ei ) 的 最 优 解 . 

证 明 ”必要 性 .假设 x" 是 MOP 的 有 效 解 . 如 果 x' 不 是 某 个 P, (ei) 的 最 优 
解 ,其 中 = f(x* ) (i 二 1, 2,…, p, i 关上 ), 即 存在 x€ S= |x| g(x) 过 0|， 
使 得 f(x) 二 六 (xz ), 并 且 fi(x) 志 fi(x*) (j= 二 1,2,…, pj 关上 ), 这 与 x* 
是 MOP 的 有 效 解 矛盾 . 所 以 x* 同时 是 p 个 约束 问题 P.(e,) 的 最 优 解 . 

充分 性 . 因为 x* 同时 是 p 个 约束 问题 Pi (si) 的 最 优 解 ,那么 不 存在 x € S 
二 [x1g(x) 世 0} ,使 得 f(x) 达 f(x* ), 并且 至 少 有 一 个 严格 不 等 式 成 立 . 所 以 
x" 是 MOP 的 有 效 解 . 

定理 7.2.8 对 于 某 一 个 &, 若 x" 是 P(e,) 的 唯一 最 优 解 , 则 x" 是 MOP 的 
有 效 解 ,这 里 ex 一 (ef ，…, ei, eth ), 其 中 ee’ = f(x*) (i=1, 
2，…，p, i 关上). 

证 明 因为 x "是 Pi(e;) 的 唯一 最 优 解 ,对 某 一 个 ,其 中 e; = f(x" ) (一 
1, 2,…, ,i 关上) ,那么 对 所 有 的 xE S= |x| g(x) 过 0f, 有 


fi(x) f(x ), 天 filx) < f(x ), 


从 而 ,没有 一 个 fi(i 闫 有 ) 能 够 在 不 增加 f, 的 情况 下 而 减 小 . 所 以 x* 是 MOP 
的 有 效 解 . 

3. 混合 法 

定义 7.2.4 把 加 权 法 和 约束 法 结合 起 来 使 用 的 方法 称 为 混合 法 (hybrid 
method) 

考虑 标量 化 问题 : 


Pl(w, s) maxw' f(x); 
st, fi(x)>e,i=1,2,.%,p, 
gi(x) <0,j=1,2,.,m, 


其 中 w>> 0. 容易 得 到 下 面 的 结论 . 

定理 7.2.9 x 是 MOP 的 有 效 解 的 充分 必要 条 件 是 :x** 是 P(w ，s) 的 最 
优 解 ,其 中 w > 0 和 e( 一 1, 2, …, p) 是 任意 给 定 的 ,是 使 得 P(w ,8) 可 解 的 
向 量 和 一 组 实数 . 

证 明 必要 性 . 反 证 法 :假设 对 任意 给 定 的 w > 0, r* 不 是 P(w, se) 的 最 优 
解 ,对 于 任何 8, 其 中 包括 e” = f(x* ). 设 是 P(w,s* ) 的 最 优 解 ,从 而 我 
们 有 
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(wx) > (Ww) Fx ), (7.2.5) 


和 

fi(x)0 = f(x ). (7.2.6) 

因为 W > 0, 由 (7.2.5) 式 和 (7.2.6) 式 推出 f(x) 之 f(x* ),， 从 而 x* 不 是 
MOP 的 有 效 解 . 

充分 性 .假设 x" 是 P(w , s) 的 最 优 解 ,对 于 某 个 seE R*. 它 一 定 也 是 P(w ， 

a" ) 的 最 优 解 ,其 中 "== f(x" ). 假设 x' 不 是 MOP 的 有 效 解 ,那么 存在 可 行 解 

如, 使 得 fm) 过 f(x*). 从 而 ,对 任何 W 之 0，(w)TJOz) 过 (wr)Tf(x*), 它 

与 x 是 P(w, e* ) 的 最 优 解 矛盾 . 因此 ,x*" 是 MOP 的 有 效 解 . 


司 题 七 


7.1 确定 下 面 双 目 标 规划 问题 的 有 效 解 集 和 真有 效 解 集 : 
min( fi (zx), fi(z)); 
St Iz;—re—1, 
其 中 万 (z) = ,fi(z) = (2 一 z)?*. 
7.2 用 加 权 法 求解 下 面 的 双 目 标 规划 问题 : 
min(zix2, x! + 3); 
st 六 一 2.5 委 0， 


1 一 二 mm <0, 
ni—z1 <0, 
Zz1 — hr: <0, 
-x0, 
—z: <0. 


7.3 某 企业 拟 生产 两 种 市 场 紧缺 的 新 产品 A 和 B, 其 生产 投资 费用 分 别 为 每 吨 23 000 元 

和 每 吨 49 000 元 . 这 两 种 产品 的 生产 将 会 造成 一 定 的 环境 污染 . 为 了 消除 环境 污染 公 

害 ,不 得 不 采取 环保 措施 ,为 此 生产 每 吨 4 产品 需要 环保 费用 39 000 元 ,生产 每 吨 B 

产品 需要 环保 费用 10 500 元 . 由 于 企业 生产 能 力 的 限制 ,A 和 B 产品 每 月 最 大 的 生 

产能 力 各 为 6t 和 ?7 t, 而 每 月 市 场 需要 这 两 种 产品 的 总 量 不 少 于 8 t. 

(1) 问 :工厂 如 何 安排 生产 计划 ,才能 在 满足 市 场 需要 的 前 提 下 ,使 生产 投资 和 环保 费 
用 均 达 最 小 ? 试 建立 该 企业 生产 这 两 种 产品 计划 的 多 目标 规划 模型 . 

(2) 如 果 决策 认为 ,在 这 两 个 目标 中 ,环保 目标 应 该 优先 考虑 ;而 且 希 望 环保 费用 预算 
不 高 于 150 000 元 ,生产 投资 费用 预算 不 高 于 250 000 元 . 试用 目标 规划 方法 求解 
该 问题 的 非 劣 解 方案 . 
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7.4 
7.5 


7.6 


试 求 min[ 如 十 恕 , (一 1)? 十 (zz 一 1)?*, (zi 十 1)? 十 (zs 一 1)*]" 的 弱 有 效 解 集 . 
设 DD 为 凸 集 , f(z) (i 二 1, 2, …, p) 为 D 上 的 凸 函数 , 证 明 : 


migL f(x), ,fo (x) 


的 有 效 解 集 和 弱 有 效 解 集 相等 . 
证 明 : 关 于 min 7(x), 若 绝对 最 优 解 非 空 , 则 绝对 最 优 解 集 必 和 有 效 解 集 相等 . 
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